MX2014008483A - Dispositivo y metodo de procesamiento de imagenes. - Google Patents
Dispositivo y metodo de procesamiento de imagenes.Info
- Publication number
- MX2014008483A MX2014008483A MX2014008483A MX2014008483A MX2014008483A MX 2014008483 A MX2014008483 A MX 2014008483A MX 2014008483 A MX2014008483 A MX 2014008483A MX 2014008483 A MX2014008483 A MX 2014008483A MX 2014008483 A MX2014008483 A MX 2014008483A
- Authority
- MX
- Mexico
- Prior art keywords
- prediction
- image
- unit
- coding
- size
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 403
- 238000012545 processing Methods 0.000 title claims abstract description 103
- 238000005516 engineering process Methods 0.000 claims abstract description 36
- 230000002457 bidirectional effect Effects 0.000 claims description 115
- 230000015654 memory Effects 0.000 claims description 99
- 230000005540 biological transmission Effects 0.000 claims description 48
- 238000003672 processing method Methods 0.000 claims description 13
- 230000002265 prevention Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 247
- 230000033001 locomotion Effects 0.000 description 90
- 230000004927 fusion Effects 0.000 description 89
- 230000002441 reversible effect Effects 0.000 description 75
- 238000010586 diagram Methods 0.000 description 71
- 230000000875 corresponding effect Effects 0.000 description 60
- 230000006854 communication Effects 0.000 description 44
- 238000004891 communication Methods 0.000 description 43
- 238000005192 partition Methods 0.000 description 42
- 238000013139 quantization Methods 0.000 description 42
- 238000004364 calculation method Methods 0.000 description 41
- 239000013598 vector Substances 0.000 description 36
- 230000006870 function Effects 0.000 description 20
- 238000009825 accumulation Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 13
- 238000013500 data storage Methods 0.000 description 13
- 230000008707 rearrangement Effects 0.000 description 13
- 230000004044 response Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000011002 quantification Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000002844 melting Methods 0.000 description 3
- 230000008018 melting Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NRNCYVBFPDDJNE-UHFFFAOYSA-N pemoline Chemical compound O1C(N)=NC(=O)C1C1=CC=CC=C1 NRNCYVBFPDDJNE-UHFFFAOYSA-N 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- OROGSEYTTFOCAN-DNJOTXNNSA-N codeine Chemical compound C([C@H]1[C@H](N(CC[C@@]112)C)C3)=C[C@H](O)[C@@H]1OC1=C2C3=CC=C1OC OROGSEYTTFOCAN-DNJOTXNNSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- OROGSEYTTFOCAN-UHFFFAOYSA-N hydrocodone Natural products C1C(N(CCC234)C)C2C=CC(O)C3OC2=C4C1=CC=C2OC OROGSEYTTFOCAN-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003874 inverse correlation nuclear magnetic resonance spectroscopy Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
La presente tecnología pertenece a un dispositivo de procesamiento de imágenes y a un método que permite evitar que el dispositivo tenga alto costo. Una unidad de establecimiento establece el tamaño de un bloque de imagen y la información de restricción que restringe el tamaño del método de predicción aplicado al bloque. Una unidad de inter-predicción genera una imagen prevista de acuerdo con la información de restricción. Un codificador (1000) codifica el bloque utilizando la imagen prevista, y genera una corriente codificada. También, el codificador (1000) transmite la corriente codificada y la información de restricción. La presente tecnología puede aplicarse a tales casos como codificación/descodificación de una imagen.
Description
DISPOSITIVO Y MÉTODO DE PROCESAMIENTO DE IMÁGENES
Campo Técnico
La presente tecnología se relaciona con un aparato de procesamiento de imágenes y un método del mismo, particularmente con un aparato de procesamiento de imágenes y un método del mismo configurado para evitar un aumento en el costo del aparato, por ejemplo.
Técnica Antecedente
En años recientes, un aparato basado en un método tal como un Grupo de Expertos de Imágenes en Movimiento (MPEG) en el que la formación de imágenes se trata como datos digitales, y en ese momento, la formación de imágenes se comprime por transformada ortogonal tal como transformada de coseno discreta, y compensación de movimiento al utilizar redundancia única para la formación de imágenes para la transmisión y acumulación de información con alta eficiencia, se utiliza ampliamente para tanto la distribución de información en una estación de difusión o similares como la recepción de información en casa.
En particular, MPEG2 (Organización Internacional para la Estandarización ( ISO) /Comisión Electrotécnica Internacional (IEC) 13818-2) se define como un método de codificación de imágenes de propósito general, y se utiliza
ampliamente en la actualidad en un amplio margen de aplicación para uso profesional y de consumo, como estándares que cubren todos de imagen de exploración entrelazada e imagen de exploración secuencial, una imagen de resolución estándar, y una imagen de alta definición. Al utilizar el método de compresión de MPEG2, puede realizarse una relación de compresión alta y excelente calidad de imagen al asignar un índice de codificación (Indice de bits) de 4 Mbps a 8 Mbps en caso de imagen de exploración entrelazada de resolución estándar que incluye 720x480 pixeles, y un índice de codificación de 18 Mbps a 22 Mbps en caso de imagen de exploración entrelazada de alta resolución que incluye 1920x1088 pixeles.
MPEG2 se ha utilizado principalmente para codificación de calidad de imagen alta utilizada adecuadamente para difusión, pero no es compatible con un método de codificación utilizando un índice de codificación más bajo (índice de bits) que el de MPEG1, es decir, a un índice de compresión más alto. Se espera que las necesidades de tal método de codificación aumenten en el futuro con la expansión de terminales portátiles, y la estandarización de un método de codificación de MPEG4 se ha realizado en respuesta a esto. Para los estándares de un método de codificación de imágenes, los estándares de ISO/IEC 14496-2 se aprobaron como estándares internacionales en diciembre de
1998.
Además, en años recientes, primero, la estandarización de H.26L (Sector de Estandarización de las Telecomunicaciones Unión de Telecomunicaciones Internacional (ITU-T) Q6/16 Grupo Experto de Codificación de Video (VCEG) ) se encuentra en progreso con el objetivo de codificación de imágenes para teleconferencias. H.26L requiere una cantidad de cálculo mayor debido a que la codificación y descodificación, comparada con el método de codificación de la técnica relacionada tal como MPEG2 o MPEG4, pero es un método bien conocido para realizar eficiencia de codificación más alta. Además, actualmente, como parte de una operación de MPEG4, la estandarización para realizar eficiencia de codificación más alta incluso al introducir funciones no soportadas en H.26L, basado en H.26L, se realiza como un Modelo de Unión de Codificación de Video por Compresión Mej orada .
En un programa de la estandarización, H.264/MPEG-4 Parte 10 (Codificación de Video Avanzada, en lo sucesivo, denominada como AVC) se vuelve un estándar internacional en marzo de 2003.
Sin embargo, existe una preocupación de que el tamaño de un macrobloque de 16 pixeles x 16 pixeles no puede ser óptimo con respecto a una gran trama de Ultra Alta Definición (UHD; 4000 pixeles x 2000 pixeles), el cual puede
ser un objetivo de un método de codificación de siguiente generación .
En la presente, actualmente, para mejora adicional de la eficiencia de codificación por AVC, la estandarización de un método de codificación llamada Codificación de Video de Alta Eficiencia (HEVC) se encuentra en progreso por el Equipo de Colaboración Adjunta - Codificación de Video (JCTVC) la cual es una organización de estandarización adjunta de ITU-T y ISO/IEC (por ejemplo, véase NPL 1) .
En el método de codificación de HEVC, una unidad de codificación (CU) se define para ser la misma unidad de procesamiento que el macrobloque de AVC. A diferencia del macrobloque de AVC, el tamaño de la CU no se fija a 16 x 16 pixeles, y se designa en información de compresión de imagen en secuencias respectivas.
Sin embargo, para mejorar la codificación de un vector de movimiento utilizando predicción media de AVC, utilizando de forma adaptable cualquiera de "predictor temporal" y "predxctor espacial-temporal" como la información de vector de movimiento predictivo, además de "predictor espacial" el cual se define en AVC y se adquiere por predicción media (por ejemplo, véase NPL 2), se ha propuesto.
En un dispositivo de codificación de formación de imágenes, una función de costo en caso de utilizar cada elemento de información de vector de movimiento predictivo,
se calcula para cada bloque, y se realiza la selección de la información de vector de movimiento predictivo óptima. En la información de compresión de imagen, la información gráfica que muestra la información que indica qué información de vector de movimiento predictivo se utiliza con respecto a cada bloque que se transmite.
Además, cuando uno de los métodos de codificación de información de movimiento, un método llamado Fusión de Partición de Movimiento (en lo sucesivo, también denominado como un modo de fusión) se propone (por ejemplo, véase NPL 3) . En este método, en un caso en donde la información de movimiento de un bloque correspondiente es la misma que la información de movimiento de los bloques periféricos, solamente la información del indicador se transmite, y la información de movimiento del bloque correspondiente se reconstruye utilizando la información de movimiento de los bloques periféricos cuando se realiza la descodificación.
Lista de Citas
Literatura Sin Patente
NPL 1: "Modelo de Prueba bajo Consideración", JCTVC-B205, Equipo de Colaboración Conjunto en Codificación de Video (JCT-VC) de ITU-T SG16 WP3 e ISO/IEC JTCl/SC29/WG112nd Reunión: Ginebra, CH, 21 a 28 julio de 2010
NPL 2: Joel Jung, Guillaume Laroche, "Esquema
Basado en Competición para Selección y Codificación de Vector de Movimiento", VCEG-AC06, ITU - Sector de Estandarización de Telecomunicaciones GRUPO DE ESTUDIO 16 Pregunta 6 Grupo de Expertos de Codificación de Video (VCEG) 29a Reunión: Klagenfurt, Austria, 17 y 18 de julio de 2006
NPL 3: Martin Winken, Sebastian Bosse, Benjamín Bross, Philipp Helle, Tobias Hinz, Heiner Kirchhoffer, Haricharan Lakshman, Detlev Marpe, Simón Oudin, Matthias Preiss, Heiko Schwarz, Mischa Siekmann, Karsten Suehring, y Thomas iegand, "Descripción de tecnología de codificación de video propuesta por Fraunhofer HHI", JCTVC-A116, abril 2010
Compendio de la Invención
Problema Técnico
En AVC o HEVC, se realiza la codificación predictiva para generar una imagen predictiva y codificar una imagen utilizando la imagen predictiva.
En la codificación predictiva, una imagen descodificada la cual se (codifica y después) descodifica por adelantado se utiliza para generar la imagen predictiva, y de este modo la imagen descodificada se almacena en una memoria llamada una Memoria Intermedia de Imagen Descodificada (DPB) , si es necesario. La imagen descodificada almacenada en la DPB se lee desde la DPB como una imagen de referencia, cuando se genera la imagen predictiva.
Sin embargo, el costo del aparato aumenta cuando se intenta asegurar un margen amplio de un ancho de banda (índice alto) , como un ancho de banda de memoria el cual es un índice de transmisión en el que la imagen descodificada se lee desde la DPB .
La presente tecnología se realiza en consideración de estas circunstancias y es para evitar un aumento en el costo del aparato.
Solución al Problema
De acuerdo con un primer aspecto de la presente tecnología, se proporciona un aparato de procesamiento de imágenes que incluye: una unidad de establecimiento la cual establece información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción establecida por la unidad de establecimiento; una unidad de codificación la cual codifica la imagen utilizando la imagen de predicción generada por la unidad de predicción y genera una corriente codificada; y una unidad de transmisión la cual transmite la corriente codificada generada por la unidad de codificación y la información de restricción establecida por la unidad de establecimiento .
De acuerdo con el primer aspecto de la presente tecnología, se proporciona un método de procesamiento de imágenes que incluye: una etapa de establecimiento para establecer información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción establecida en la etapa de establecimiento; una etapa de codificación para codificar la imagen utilizando la imagen de predicción generada en la etapa de predicción y generar la corriente codificada; y una etapa de transmisión para transmitir la corriente codificada generada en la etapa de codificación y la información de restricción establecida en la etapa de establecimiento.
En el primer aspecto descrito en lo anterior, la información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño se establece, y la imagen de predicción se genera de acuerdo con la información de restricción. Además, la imagen se codifica utilizando la imagen de predicción y la corriente codificada se genera. Además, la corriente codificada y la información de restricción se transmiten.
De acuerdo con un segundo aspecto de la presente tecnología, se proporciona un aparato de procesamiento de
imágenes que incluye: una unidad de recepción la cual recibe información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, y una corriente codificada generada al codificar la imagen; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción recibida por la unidad de recepción; y una unidad de descodificación la cual descodifica la corriente codificada recibida por la unidad de recepción, utilizando la imagen de predicción generada por la unidad de predicción.
De acuerdo con el segundo aspecto de la presente tecnología, se proporciona un método de procesamiento de imágenes que incluye: una etapa de recepción para recibir información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, y una corriente codificada generada al codificar la imagen; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción recibida en la etapa de recepción; y una etapa de descodificación para descodificar la corriente codificada recibida en la etapa de recepción, utilizando la imagen de predicción generada en la etapa de predicción.
En el segundo aspecto descrito en lo anterior, la información de restricción para restringir un tamaño de un
bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, y la corriente codificada generada al codificar la imagen se reciben, y la imagen de predicción se genera de acuerdo con la información de restricción. Además, la corriente codificada se descodifica utilizando la imagen de predicción.
De acuerdo con un tercer aspecto de la presente tecnología, se proporciona un aparato de procesamiento de imágenes que incluye: una unidad de establecimiento la cual establece información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, basado en un perfil y un nivel; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción establecida por la unidad de establecimiento; una unidad de codificación la cual codifica la imagen utilizando la imagen de predicción generada por la unidad de predicción y genera una corriente codificada; y una unidad de transmisión la cual transmite la corriente codificada generada por la unidad de codificación.
De acuerdo con el tercer aspecto de la presente tecnología, se proporciona un método de procesamiento de imágenes que incluye: una etapa de establecimiento para establecer información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción
para aplicarse al bloque que tiene el tamaño, basado en un perfil y un nivel; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción establecida en la etapa de establecimiento; una etapa de codificación para codificar la imagen utilizando la imagen de predicción generada en la etapa de predicción y generar una corriente codificada; y una etapa de transmisión para transmitir la corriente codificada generada en la etapa de codificación.
En el tercer aspecto descrito en lo anterior, la información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, se establece basado en un perfil y un nivel, y la imagen de predicción se genera de acuerdo con la información de restricción. Además, la imagen se codifica utilizando la imagen de predicción, la corriente codificada se genera, y la corriente codificada se transmite.
De acuerdo con un cuarto aspecto de la presente tecnología, se proporciona un aparato de procesamiento de imágenes que incluye: una unidad de recepción la cual recibe una corriente codificada, codificada de acuerdo con información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, basado en un perfil o un nivel; una unidad de predicción la cual genera una imagen de
predicción de acuerdo con la información de restricción reconocida basada en el perfil o el nivel; y una unidad de descodificación la cual descodifica la corriente codificada recibida por la unidad de recepción, utilizando la imagen de predicción generada por la unidad de predicción.
De acuerdo con el cuarto aspecto de la presente tecnología, se proporciona un método de procesamiento de imágenes que incluye: una etapa de recepción para recibir una corriente codificada, codificada de acuerdo con información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, basado en un perfil o un nivel; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción reconocida basada en el perfil o el nivel; y una etapa de descodificación para descodificar la corriente codificada recibida en la etapa de recepción, utilizando la imagen de predicción generada en la etapa de predicción.
En el cuarto aspecto descrito en lo anterior, la corriente codificada, codificada de acuerdo con la información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, basado en el perfil o el nivel, se recibe, y la imagen de predicción se genera de acuerdo con la información de restricción reconocida basada
en el perfil o el nivel. Además, la corriente codificada se descodifica utilizando la imagen de predicción.
Efectos Ventajosos de la Invención
De acuerdo con la presente tecnología, es posible evitar un aumento en un costo del aparato.
Breve Descripción de los Dibujos
La Figura 1 es un diagrama de bloque que muestra una configuración ejemplar principal de un dispositivo de codificación de imágenes.
La Figura 2 es un diagrama que ilustra una unidad de codificación.
La Figura 3 es un diagrama que ilustra una relación entre los segmentos y unidades de codificación.
La Figura 4 es un diagrama que ilustra un modo de fusión .
La Figura 5 es un diagrama de bloque que muestra una configuración ejemplar principal de una unidad de codificación reversible y una unidad de control de codificación .
La Figura 6 es un diagrama de flujo que ilustra un ejemplo de un flujo de un proceso de codificación.
La Figura 7 es un diagrama de flujo que ilustra un ejemplo de un flujo de un proceso de codificación reversible.
La Figura 8 es un diagrama de flujo que ilustra un ejemplo de un flujo de un proceso de codificación de CU.
La Figura 9 es un diagrama de flujo, subsiguiente a la Figura 8, que ilustra un ejemplo de un flujo de un proceso de codificación de CU.
La Figura 10 es un diagrama de bloque que muestra una configuración ejemplar principal de un dispositivo de descodificación de imágenes.
La Figura 11 es un diagrama de bloque que muestra una configuración ejemplar principal de una unidad de descodificación reversible y una unidad de control de descodificación .
La Figura 12 es un diagrama de flujo que ilustra un ejemplo de un flujo de un proceso de descodificación.
La Figura 13 es un diagrama de flujo que ilustra un ejemplo de un flujo de un proceso de descodificación reversible .
La Figura 14 es un diagrama de flujo que ilustra un ejemplo de un flujo de un proceso de descodificación de CU.
La Figura 15 es un diagrama de flujo, subsecuente a la Figura 14, que ilustra un ejemplo de un flujo de un proceso de descodificación de CU.
La Figura 16 es un diagrama de bloque que muestra una configuración ejemplar de una modalidad de un aparato de procesamiento de imágenes al que se ' aplica la presente
tecnología .
La Figura 17 es un diagrama que ilustra información disable_bip_small_mrg_idc .
La Figura 18 es un diagrama de flujo que ilustra un proceso de un codificador 1000 y un descodificador 2000 en caso de utilizar la información disable_bip_small_mrg_idc .
La Figura 19 es un diagrama que ilustra la información de extensión disable_bip_small_mrg_idc .
La Figura 20 es un diagrama que ilustra la información modify_bip_small_mrg_10.
La Figura 21 es un diagrama de flujo que ilustra la codificación de SPS por un codificador 1000 y descodificación de SPS por un descodificador 2000.
La Figura 22 son diagramas de flujo que ilustran codificación de un encabezado de sección por un codificador 1000 y la descodificación de un encabezado de sección por un descodificador 2000.
La Figura 23 son diagramas de flujo que ilustran la codificación de una CU por un codificador 1000 y la descodificación de una CU por un descodificador 2000.
La Figura 24 es un diagrama de flujo que ilustra una elección (selección) de candidatos de fusión.
La Figura 25 es un diagrama que ilustra un modo de restricción de RB.
La Figura 26 son diagramas de flujo que ilustran
procesos de un codificador 1000 y un descodificador 2000 en caso de utilizar un modo de restricción de RB.
La Figura 27 es un diagrama que ilustra que un margen amplio de un ancho de banda de memoria se utiliza en predicción de los bloques verticales, que en predicción de los bloques horizontales.
Las Figuras 28A y 28B son diagramas que ilustran que un margen amplio de un ancho de banda de memoria se utiliza en predicción de los bloques verticales, que en la predicción de los bloques horizontales.
La Figura 29 es un diagrama que ilustra un modo de restricción de RV.
La Figura 30 es un diagrama que muestra un primer ejemplo de sintaxis de información de encabezado de datos codificados, que incluye información de identificación.
La Figura 31 es un diagrama que muestra valores tomados por un indicador disable_bip_small_mrg_idc, y muestra tamaños de bloques de los cuales se prohibe la predicción bidireccional por cada valor del indicador disable_bip_small_mrg_idc .
La Figura 32 es un diagrama que muestra un segundo ejemplo de sintaxis de información de encabezado de datos codificados, que incluye información de identificación.
La Figura 33 es un diagrama que muestra un segundo ejemplo de sintaxis de información de encabezado de datos
codificados, que incluye información de identificación.
La Figura 34 es un diagrama de bloque que muestra una configuración ejemplar principal de una computadora personal .
La Figura 35 es un diagrama de bloque que muestra un ejemplo de una configuración esquemática de un aparato de televisión .
La Figura 36 es un diagrama de bloque que muestra un ejemplo de una configuración esquemática de un teléfono móvil .
La Figura 37 es un diagrama de bloque que muestra un ejemplo de una configuración esquemática de un aparato de grabación y reproducción.
La Figura 38 es un diagrama de bloque que muestra un ejemplo de una configuración esquemática de un aparato de captura de imágenes.
La Figura 39 es un diagrama que muestra un ejemplo de un método de codificación de imágenes de varias vistas.
La Figura 40 es un diagrama que muestra una configuración ejemplar principal de un dispositivo de codificación de imágenes de varias vistas al que se aplica la presente tecnología.
La Figura 41 es un diagrama que muestra una configuración ejemplar principal de un dispositivo de descodificación de imágenes de varias vistas al que se aplica
la presente tecnología.
La Figura 42 es un diagrama que muestra un ejemplo de un método de codificación de imágenes de capa jerárquica.
La Figura 43 es un diagrama que muestra una configuración ejemplar principal de un dispositivo de codificación de imágenes de capa jerárquica al que se aplica la presente tecnología.
La Figura 44 es un diagrama que muestra una configuración ejemplar principal de un dispositivo de descodificación de imágenes de capa jerárquica al que se aplica la presente tecnología.
La Figura 45 es un diagrama de bloque que muestra un ejemplo del uso de codificación escalable.
La Figura 46 es un diagrama de bloque que muestra otro ejemplo del uso de codificación escalable.
La Figura 47 es un diagrama de bloque que muestra todavía otro ejemplo del uso de codificación escalable.
Descripción de las Modalidades
En lo sucesivo, las modalidades de la presente tecnología se describirán, pero antes de eso, se describirá una tecnología básica.
Dispositivo de Codificación de imágenes
La Figura 1 es un diagrama de bloque que muestra
una configuración ejemplar principal de un dispositivo de codificación de imágenes.
Un dispositivo 100 de codificación de imágenes mostrado en la Figura 1 codifica datos de imágenes utilizando un proceso de predicción, como un método de codificación de H.26 /Grupo de Expertos de Imágenes en Movimiento (MPEG) 4 Parte 10 (Codificación de Video Avanzada (AVC) ) .
El dispositivo 100 de codificación de imágenes mostrado en la Figura 1 incluye una unidad 101 de conversión de A/D, una memoria intermedia 102 de redisposición de pantalla, una unidad 103 de cálculo, una unidad 104 de transformada ortogonal, una unidad 105 de cuantificación, una unidad 106 de codificación reversible, y una memoria intermedia 107 de acumulación. El dispositivo 100 de codificación de imágenes además incluye una unidad 108 de cuantificación inversa, una unidad 109 de transformada ortogonal inversa, una unidad 110 de cálculo, un filtro 111 de bucle, una memoria 112 de trama, una unidad 113 de selección, una unidad 114 de intra-predicción, una unidad 115 de predicción de movimiento - compensación, una unidad 116 de selección de imágenes de predicción, y una unidad 117 de control de índice.
El dispositivo 100 de codificación de imágenes además incluye una unidad 121 de control de codificación.
La unidad 101 de conversión de A/D realiza la
2Q
conversión de A/D de los datos de imágenes de entrada, suministra los datos de imágenes después de la conversión (datos digitales) a la memoria intermedia 102 de redisposición de pantalla, y almacena los datos de imágenes en la misma. La memoria intermedia 102 de redisposición de pantalla redispone la imagen de tramas en un orden de muestra almacenada, para un orden de tramas para codificación, de acuerdo con el grupo de imágenes (GOP) , y suministra la imagen con el orden cambiado de tramas a la unidad 103 de cálculo. Además, la memoria intermedia 102 de redisposición de pantalla también suministra la imagen con el orden cambiado de tramas a la unidad 114 de intra-predicción y la unidad 115 de predicción de movimiento - compensación.
La unidad 103 de cálculo resta una imagen de predicción suministrada desde la unidad 114 de intra-predicción o la unidad 115 de predicción de movimiento -compensación a través de la unidad 116 de selección de imágenes de predicción, desde la imagen leída desde la memoria intermedia 102 de redisposición de pantalla, y produce la información de diferencia de la misma a la unidad 104 de transformada ortogonal.
Por ejemplo, en caso de que la imagen se somete a inter-codificación, la unidad 103 de cálculo resta la imagen de predicción suministrada desde la unidad 115 de predicción de movimiento - compensación, desde la imagen leída desde la
memoria intermedia 102 de redisposición de pantalla.
La unidad 104 de transformada ortogonal realiza una transformada ortogonal tal como transformada de coseno discreta o transformada Karhunen-Loe e, con respecto a la información de diferencia suministrada desde la unidad 103 de cálculo. Además, un método de esta transformada ortogonal es arbitrario. La unidad 104 de transformada ortogonal suministra un coeficiente de transformada obtenido por la transformada ortogonal a la unidad 105 de cuantificación .
La unidad 105 de cuantificación cuantifica el coeficiente de transformada suministrado desde la unidad 104 de transformada ortogonal. La unidad 105 de cuantificación establece un parámetro de cuantificación basado en la información relacionada con un valor objetivo de un índice de codificación suministrado desde la unidad 117 de control de índice, y realiza la cuantificación del mismo. Además, un método para la cuantificación del mismo es arbitrario. La unidad 105 de cuantificación suministra el coeficiente de transformada cuantificado a la unidad 106 de codificación reversible .
La unidad 106 de codificación reversible codifica el coeficiente de transformada cuantificado en la unidad 105 de cuantificación por un método de codificación arbitrario. Debido a que el coeficiente de transformada se cuantifica bajo el control de la unidad 117 de control de índice, el
índice de codificación del mismo es un valor objetivo establecido por la unidad 117 de control de índice (o aproximadamente un valor objetivo) .
Además, la unidad 106 de codificación reversible adquiere información que muestra un modo de intra-predicción o similar desde la unidad 114 de intra-predicción, y adquiere información que muestra un modo de inter-predicción, información de vector de movimiento, o similar desde la unidad 115 de predicción de movimiento - compensación. Además, la unidad 106 de codificación reversible adquiere un coeficiente de filtro o similar utilizado en el filtro 111 de bucle .
La unidad 106 de codificación reversible codifica los diversos elementos de información por un método de codificación arbitrario, y establece (multiplexa) los elementos de información como algunos de la información de encabezado de datos codificados. La unidad 106 de codificación reversible suministra los datos codificados obtenidos por codificación a la memoria intermedia 107 de acumulación y acumula los datos codificados en la misma.
Como el método de codificación de la unidad 106 de codificación reversible, la codificación de longitud variable, codificación aritmética, o similar se utiliza, por ejemplo. Como la codificación de longitud variable, Codificación de Longitud Variable de Contexto Adaptable
(CAVLC) obtenida basada en el método H.264/AVC se utiliza, por ejemplo. Como la codificación aritmética, la Codificación Aritmética Binaria de Contexto Adaptable (CABAC) se utiliza, por ejemplo.
La memoria intermedia 107 de acumulación mantiene temporalmente los datos codificados suministrados desde la unidad 106 de codificación reversible. La memoria intermedia 107 de acumulación produce los datos codificados mantenidos al aparato de grabación (medio de grabación) o una trayectoria de transmisión en una etapa posterior (no mostrada), por ejemplo, en un momento predeterminado.
Además, el coeficiente de transformada cuantificado en la unidad 105 de cuantificación también se suministra a la unidad 108 de cuantificación inversa. La unidad 108 de cuantificación inversa realiza una cuantificación inversa del coeficiente de transformada cuantificado por un método que corresponde a la cuantificación por la unidad 105 de cuantificación . Este método de cuantificación inversa puede ser cualquier método siempre y cuando sea un método que corresponde al proceso de cuantificación realizado por la unidad 105 de cuantificación . La unidad 108 de cuantificación inversa suministra el coeficiente de transformada obtenido a la unidad 109 de transformada ortogonal inversa.
La unidad 109 de transformada ortogonal inversa realiza transformada ortogonal inversa del coeficiente de
transformada suministrado desde la unidad 108 de cuantificación inversa por un método que corresponde al proceso de transformada ortogonal realizado por la unidad 104 de transformada ortogonal. Este método de transformada ortogonal inversa puede ser cualquier método siempre y cuando sea un método que corresponde al proceso de transformada ortogonal realizado por la unidad 104 de transformada ortogonal. La salida que se somete a la transformada ortogonal inversa (información de diferencia restablecida) se suministra a la unidad 110 de cálculo.
La unidad 110 de cálculo agrega la imagen de predicción suministrada desde la unidad 114 de intra-predicción o la unidad 115 de predicción de movimiento compensación a través de la unidad 116 de selección de imágenes de predicción, al resultado de transformada ortogonal inversa suministrado desde la unidad 109 de transformada ortogonal inversa, es decir, la información de diferencia restablecida, y obtiene una imagen la cual se descodifica localmente (imagen descodificada) . La imagen descodificada se suministra al filtro 111 de bucle o la memoria 112 de trama.
El filtro 111 de bucle incluye un filtro de desbloqueo, un filtro de bucle adaptable, o similar, y realiza un proceso de filtro adecuado con respecto a la imagen descodificada suministrada desde la unidad 110 de
cálculo. Por ejemplo, el filtro 111 de bucle remueve la distorsión de bloque de la imagen descodificada al realizar un proceso de filtro de desbloqueo con respecto a la imagen descodificada. Además, por ejemplo, el filtro 111 de bucle realiza una mejora de calidad de imagen al realizar un proceso de filtro de bucle utilizando un Filtro Wiener con respecto a un proceso de filtro de desbloqueo que resulta del mismo (imagen descodificada en la que la distorsión de bloque se remueve) .
Además, el filtro 111 de bucle puede realizar un proceso de filtro arbitrario con respecto a la imagen descodificada. Además, el filtro 111 de bucle también puede configurarse para suministrar información tal como un coeficiente de filtro utilizado para el proceso de filtro a la unidad 106 de codificación reversible si es necesario y codificar la información.
El filtro 111 de bucle suministra el resultado del proceso de filtro (imagen descodificada después del proceso de filtro) a la memoria 112 de trama. Además, como se describe en lo anterior, la salida de imagen descodificada desde la unidad 110 de cálculo puede suministrarse a la memoria 112 de trama sin utilizar el filtro 111 de bucle. Es decir, el proceso de filtro realizado por el filtro 111 de bucle puede omitirse.
La memoria 112 de trama almacena la imagen
descodificada suministrada, y suministra la imagen descodificada almacenada a la unidad 113 de selección como una imagen de referencia, en un momento predeterminado.
La unidad 113 de selección selecciona un destino de suministro de la imagen de referencia suministrada desde la memoria 112 de trama. Por ejemplo, en caso de la inter-predicción, la unidad 113 de selección suministra la imagen de referencia suministrada desde la memoria 112 de trama a la unidad 115 de predicción de movimiento - compensación.
La unidad 114 de intra-predicción realiza una intra-predicción (predicción en pantalla) para generar una imagen de predicción utilizando básicamente una unidad de predicción (PU) como una unidad de proceso, al utilizar un valor de pixel en una imagen a ser procesada la cual es la imagen de referencia suministrada desde la memoria 112 de trama a través de la unidad 113 de selección. La unidad 114 de intra-predicción realiza esta intra-predicción en una pluralidad de modos (modos de intra-predicción) los cuales se preparan por adelantado.
La unidad 114 de intra-predicción genera las imágenes de predicción en todos los modos de intra-predicción los cuales son candidatos, evalúa un valor de función de costo de cada imagen de predicción utilizando la imagen de entrada suministrada desde la memoria intermedia 102 de redisposición de pantalla, y selecciona el modo óptimo. Si se
selecciona el modo de intra-predicción óptimo, la unidad 114 de intra-predicción suministra la imagen de predicción generada en este modo óptimo a la unidad 116 de selección de imágenes de predicción.
Además, como se describe en lo anterior, la unidad 114 de intra-predicción suministra adecuadamente la información de modo de intra-predicción o similar la cual muestra el modo de intra-predicción empleado para la unidad 106 de codificación reversible que provoca que la información o similar se codifique.
La unidad 115 de predicción de movimiento compensación realiza predicción de movimiento (inter-predicción) básicamente utilizando la PU como la unidad de proceso, al utilizar la imagen de entrada suministrada desde la memoria intermedia 102 de redisposición de pantalla y la imagen de referencia suministrada desde la memoria 112 de trama a través de la unidad 113 de selección, realiza un proceso de compensación de movimiento basado en el vector de movimiento detectado, y genera la imagen de predicción (formación de imágenes de inter-predicción) . La unidad 115 de predicción de movimiento - compensación realiza tal inter-predicción en una pluralidad de modos (modos de inter predicción) los cuales se prepararon previamente.
LA unidad 115 de predicción de movimiento compensación genera las imágenes de predicción en todos los
modos de inter-predicción los cuales son candidatos, evalúa un valor de función de costo de cada imagen de predicción, y selecciona el modo óptimo. Si el modo de inter-predicción óptimo se selecciona, la unidad 115 de predicción de movimiento - compensación suministra la imagen de predicción generada en ese modo óptimo a la unidad 116 de selección de imágenes de predicción.
Además, cuando se descodifica la información que muestra el modo de inter-predicción empleado o los datos codificados, la unidad 115 de predicción de movimiento compensación suministra la información o similar que es necesaria para realizar el proceso en este modo de inter-predicción a la unidad 106 de codificación reversible para provocar que la información o similar se codifique.
La unidad 116 de selección de imágenes de predicción selecciona una fuente de suministro de la imagen de predicción para suministrarse a la unidad 103 de cálculo o la unidad 110 de cálculo. Por ejemplo, en caso de inter-codificación, la unidad 116 de selección de imágenes de predicción selecciona la unidad 115 de predicción de movimiento - compensación como la fuente de suministro de la imagen de predicción, y suministra la imagen de predicción suministrada desde la unidad 115 de predicción de movimiento - compensación a la unidad 103 de cálculo o la unidad 110 de cálculo .
La unidad 117 de control de índice controla un índice de una operación de cuantificación de la unidad 105 de cuantificación basado en un índice de codificación de datos codificados acumulados en la memoria intermedia 107 de acumulación, para no generar sobreflujo o subflu o.
La unidad 121 de control de codificación controla el proceso de codificación de la unidad 106 de codificación reversible. En ese momento, la unidad 121 de control de codificación realiza la determinación de si la codificación se realiza en el modo de fusión o no.
Además, la unidad 121 de control de codificación también realiza el control del proceso de codificación en un modo diferente al modo de fusión, por ejemplo, un modo de salto, el modo de intra-predicción, el modo de inter-predicción, un modo directo, o similar.
La unidad 106 de codificación reversible realiza un proceso de codificación reversible en un modo seleccionado por la unidad 121 de control de codificación.
Unidad de Codificación
Mientras tanto, en el método de codificación de AVC, los macrobloques o sub-macrobloques obtenidos al dividir el macrobloque en una pluralidad de bloques, se utilizan como unidades de proceso del proceso de predicción o el proceso de codificación. Sin embargo, establecer un tamaño de
macrobloque de 16 pixeles x 16 pixeles no es óptimo con respecto a una gran trama de Ultra Alta Definición (UHD 4000 pixeles x 2000 pixeles) el cual puede ser un objetivo de un método de codificación de siguiente generación.
En la presente, actualmente, para una mejora adicional de la eficiencia de codificación por AVC, la estandarización de un método de codificación llamado Codificación de Video de Alta Eficiencia (HEVC) se encuentra en progreso por el Equipo de Colaboración Conjunta Codificación de Video (JCTVC) el cual es una organización de estandarización conjunta del Sector de Estandarización de las Telecomunicaciones Unión de Telecomunicaciones Internacional
(ITU-T) y la Organización Internacional para la Estandarización (ISO)/ Comisión Electrotécnica Internacional
(IEC) .
En la AVC, una estructura de capa jerárquica con los macrobloques y los sub-macrobloques se define, pero en la HEVC, la unidad de codificación (CU) se define como se muestra en la Figura 2.
La CU también se denomina un bloque de tres codificaciones (CTB) , y es una región parcial de la imagen de una unidad de imagen, la cual juega el mismo rol como el macrobloque de la AVC. Mientras el tamaño en el método de capa se fija al tamaño de 16 x 16 pixeles, el tamaño en el método anterior no se fija y se designa en la información de
compresión de imagen en secuencias respectivas.
Por ejemplo, en un parámetro de secuencia establecido (SPS) incluido en los datos codificados a producirse, un tamaño máximo de la CU (unidad de codificación mayor (LCü) ) y un tamaño mínimo de la misma (unidad de codificación menor (SCU) ) se definen.
En cada LCU, al establecer que el indicador dividido es 1 en un margen que no es menor que el tamaño de SCU, es posible dividir la CU en las CU que tienen un tamaño menor. En el ejemplo de la Figura 2, el tamaño de la LCU es 128 y una profundidad de capa jerárquica máxima es 5. La CU que tiene un tamaño de 2N x 2N se divide en una CU que tiene un tamaño de N x N el cual se encuentra en una capa jerárquica la cual es un nivel menor que la de la CU que tiene un tamaño de 2N x 2N, en un momento cuando un valor de split_flag es "1".
Además, como se muestra en la Figura 3, la CU se divide en unidades de predicción (PU), cada una de las cuales es una región (región parcial de la imagen de la unidad de imagen) para que sea una unidad de proceso de la intra- o inter-predicción, y se divide además en unidades de transformada (TU) , cada una de las cuales es una región (región parcial de la imagen de la unidad de imagen) a ser una unidad de proceso de la transformada ortogonal. Actualmente, en la HEVC, además de x 4 y 8 x 8, es posible
utilizar la transformada ortogonal de 16 x 16 y 32 x 32.
Como en la HEVC descrita en anterior, en caso del método de codificación en la que la CU se define y diversos procesos se realizan con la CU como una unidad, puede considerarse que el macrobloque de la AVC corresponde a la LCU . Sin embargo, debido a que la CU tiene la estructura de capa jerárquica como se muestra en la Figura 2, es general establecer el tamaño de la LCU en la capa jerárquica más alta, mayor que el macrobloque de la AVC, por ejemplo, como 128 x 128 pixeles.
La presente tecnología también puede aplicarse al método de codificación utilizando la CU, la PU, y la TU, en lugar de los macrobloques . Es decir, la unidad de proceso para realizar el proceso de predicción puede ser una región arbitraria. Es decir, en la siguiente descripción, no solamente los macrobloques o los sub-macrobloques , sino también la CU, la PU, y la TU se incluyen en una región a ser procesada del proceso de predicción (también denominada como una región correspondiente o una región objetivo) o una región L periférica la cual es una región ubicada en la periferia de la región correspondiente.
Fusión de Partición de Movimien'to
Mientras tanto, se propone un método (modo de fusión) llamado Fusión de Partición de Movimiento como se
muestra en la Figura 4, como uno de los métodos de codificación de la información de movimiento. En este método, dos indicadores los cuales son Merge_Flag y Merge_Left_Flag se transmiten como información de fusión la cual es información relacionada con el modo de fusión.
Merge_Flag = 1 muestra que la información de movimiento de la región X correspondiente es la misma que la información de movimiento de región T periférica adyacente a la porción superior de la región correspondiente o una región L periférica adyacente a la porción izquierda de la región correspondiente. En ese momento, la información de fusión incluye erge_Left_Flag y se transmite. Merge_Flag = 0 muestra que la información de movimiento de la región X correspondiente es diferente de la información de movimiento de ambas de la región T periférica y la región L periférica. En este caso, la información de movimiento de la región X correspondiente se transmite.
En un caso en donde la información de movimiento de la región X correspondiente es la misma que la información de movimiento de la región L periférica, Merge_Flag = 1 y Merge_Left_Flag = 1. En un caso en donde la información de movimiento de la región X correspondiente es la misma que la información de movimiento de la región T periférica, Merge_Flag = 1 y Merge_Left_Flag = 0.
Unidad de Codificación Reversible y Unidad de
Control de Codificación
La Figura 5 es un diagrama de bloque que muestra una configuración ejemplar principal de la unidad 106 de codificación reversible y la unidad 121 de control de codificación.
Como se muestra en la Figura 5, la unidad 106 de codificación reversible incluye una capa de absorción de red (NAL) , una unidad 131 de codificación y una unidad 132 de codificación de datos de CU.
La unidad 131 de codificación de NAL codifica datos de NAL tales como el conjunto de parámetro de secuencia (SPS) , un conjunto de parámetros de imagen (PPS), y el encabezado de sección. La unidad 132 de codificación de datos de CU codifica datos en la capa jerárquica menor que la CU (capa de codificación de video (VCL) ) .
La unidad 132 de codificación de datos de CU incluye una unidad 141 de codificación de indicador de salto, una unidad 142 de codificación de modo de salto, una unidad 143 de codificación de indicador de fusión, y una unidad 144 de codificación de modo de fusión. La unidad 132 de codificación de datos de CU además incluye una unidad 145 de codificación PredMode, una unidad 146 de intra-codificación, una unidad 147 de intra-codificación, y una unidad 148 de codificación de modo directo.
La unidad 141 de codificación de indicador de salto
genera un indicador de salto que muestra si se emplea el modo de salto y se realiza la codificación o no, de acuerdo con el control de la unidad 121 de control de codificación. La unidad 142 de codificación de modo de salto realiza un proceso de codificación en el modo de salto, de acuerdo con el control de la unidad 121 de control de codificación.
La unidad 143 de codificación de indicador de fusión genera y codifica MergeFlag que muestra si se emplea el modo de fusión o no, de acuerdo con el control de la unidad 121 de control de codificación. El modo 144 de codificación de modo de fusión realiza un proceso de codificación en el modo de fusión, de acuerdo con el control de la unidad 121 de control de codificación.
La unidad 145 de codificación de PredMode codifica PredMode el cual es un parámetro que muestra el modo de predicción, de acuerdo con el control de la unidad 121 de control de codificación. La unidad 146 de intra-codificación realiza un proceso relacionado con la codificación de una diferencia de imagen generada utilizando la intra-predicción, de acuerdo con el control de la unidad 121 de control de codificación. La unidad 147 de intra-codificación realiza un proceso relacionado con la codificación de una diferencia de imagen generada utilizando la inter-predicción, de acuerdo con el control de la unidad 121 de control de codificación. La unidad 148 de codificación de modo directo realiza un
proceso relacionado con la codificación de una imagen de diferencia generada utilizando el modo directo, de acuerdo con el control de la unidad 121 de control de codificación.
Flujo de Proceso de Codificación
A continuación, se describirá un flujo de cada proceso realizado por el dispositivo 100 de codificación de imágenes descrito en lo anterior. Primero, se describirá un ejemplo de un flujo del proceso de codificación con referencia a un diagrama de flujo de la Figura 6.
En la Etapa S101, la unidad 101 de conversión de A/D realiza la conversión de A/D de la imagen de entrada. En la Etapa S102, la memoria intermedia 102 de redisposición de pantalla almacena la imagen convertida de A/D, y realiza la redisposición desde el orden en el que se muestra cada imagen, al orden a codificarse.
En la Etapa S103, la unidad 114 de intra-predicción realiza el proceso de intra-predicción en el modo de intra-predicción. En la Etapa S104, la unidad 115 de predicción de movimiento - compensación realiza un proceso de predicción de inter-movimiento para realizar la predicción de movimiento o compensación de movimiento en el modo de inter-predicción .
En la Etapa S105, la unidad 116 de selección de imágenes de predicción determina el modo óptimo, basado en cada valor de función de costo producido desde la unidad 114
de intra-predicción y la unidad 115 de predicción de movimiento - compensación. Es decir, la unidad 116 de selección de imágenes de predicción selecciona cualquiera de la imagen de predicción generada por la unidad 114 de intra-predicción y la imagen de predicción generada por la unidad 115 de predicción de movimiento - compensación.
En la Etapa S106, la unidad 103 de cálculo calcula una diferencia entre la imagen redispuesta por el proceso de la Etapa S102 y la imagen de predicción seleccionada por el proceso de la Etapa S105. Un volumen de datos de los datos de diferencia se reduce comparado con el de los datos de la imagen original. Por consiguiente, es posible comprimir el volumen de datos, comparado con el caso de codificar la imagen como es.
En la Etapa S107, la unidad 104 de transformada ortogonal realiza una transformada ortogonal de la información de diferencia generada por el proceso de la Etapa S106. En detalle, la transformada ortogonal tal como una transformada de coseno discreta o una transformada Karhunen-Loeve se realiza, y el coeficiente de transformada se produce .
En la Etapa S108, la unidad 105 de cuantificación cuantifica el coeficiente de transformada obtenido por el proceso de la Etapa S107.
La información de diferencia cuantificada por el
proceso de la Etapa S108 se descodifica localmente como sigue. Es decir, en la Etapa S109, la unidad 108 de cuantificación inversa, cuantifica inversamente el coeficiente de transformada (también denominado como un coeficiente cuantificado) generado y cuantificado por el proceso de la Etapa S108, con una propiedad que corresponde a la propiedad de la unidad 105 de cuantificación . En la Etapa S110, la unidad 109 de transformada ortogonal inversa realiza una transformada ortogonal inversa del coeficiente de transformada obtenido por el proceso de la Etapa S107 con una propiedad que corresponde a la propiedad de la unidad 104 de transformada ortogonal, descodifica localmente la información de diferencia, y suministra la información de diferencia a la unidad 110 de cálculo.
En la Etapa Slll, la unidad 110 de cálculo agrega la imagen de predicción a la información de diferencia descodificada localmente, y genera una imagen descodificada localmente (imagen que corresponde a la entrada en la unidad 103 de cálculo) . En la Etapa S112, el filtro 111 de bucle realiza adecuadamente el proceso de filtro de bucle que incluye el proceso de filtro de desbloqueo o un proceso de filtro de bucle adaptable, con respecto a la imagen descodificada localmente obtenida por el proceso de la Etapa Slll.
En la Etapa S113, la memoria 112 de trama almacena
33
la imagen descodificada la cual se somete al proceso de filtro de bucle por el proceso de la Etapa S112. Además, una imagen la cual no se somete al proceso de filtro por el filtro 111 de bucle también se suministra a la memoria 112 de trama desde la unidad 110 de cálculo y se almacena en la misma .
En la Etapa S114, la unidad 106 de codificación reversible codifica el coeficiente de transformada (coeficiente cuantificado) cuantificado por el proceso de la Etapa S108. Es decir, la codificación reversible tal como la codificación de longitud variable o codificación aritmética se realiza con respecto a la imagen de diferencia.
Además, la unidad 106 de codificación reversible codifica un parámetro cuantificado calculado en la Etapa S108 y agrega (incluye) el parámetro cuantificado a los datos codificados. Además, la unidad 106 de codificación reversible codifica la información relacionada con el modo de predicción de la imagen de predicción seleccionada desde el proceso de la Etapa S105, y agrega la información a los datos codificados los cuales se obtienen al codificar la imagen de diferencia. Es decir, la unidad 106 de codificación reversible también codifica la información de modo de intra-predicción óptima suministrada desde la unidad 114 de intra-predicción, la información basada en la información de modo de intra-predicción óptima suministrada desde la unidad 115
de predicción de movimiento - compensación, o similar, y agrega la información a los datos codificados.
En la Etapa S115, la memoria intermedia 107 de acumulación acumula los datos codificados obtenidos por el proceso de la Etapa S114. Los datos codificados acumulados en la memoria intermedia 107 de acumulación se leen adecuadamente, y se transmiten a un lado de descodificación a través de una trayectoria de transmisión o un medio de grabación .
En la Etapa S116, la unidad 117 de control de índice controla el índice de la operación de cuantificación de la unidad 105 de cuantificación basado en el índice de codificación (índice de codificación generado) de los datos codificados acumulados en la memoria intermedia 107 de acumulación por el proceso de la Etapa S115, de manera que no genera sobreflujo o subflujo.
Cuando el proceso de la Etapa S116 termina, el proceso de codificación termina.
Además, en la Etapa S114, la unidad 106 de codificación reversible realiza el proceso de codificación de acuerdo con el control de la unidad 121 de control de codificación .
Flujo del Proceso de Codificación Reversible
A continuación, se describirá un ejemplo de un
flujo del proceso de codificación reversible realizado en la Etapa S114 de la Figura 6 con referencia a un diagrama de flujo de la Figura 7. Como se muestra en la Figura 7, el proceso de codificación reversible se realiza por cada capa jerárquica de la imagen.
Es decir, la unidad 131 de codificación de NAL genera y codifica la SPS en la Etapa S121, genera y codifica la PPS en la Etapa S122, y genera y codifica el encabezado de sección en la Etapa S123. En la Etapa S124, la unidad 132 de codificación de datos de CU codifica una CU correspondiente la cual es un objetivo de proceso.
La unidad 132 de codificación de datos de CU repite el proceso de la Etapa S124 para todas las CU en un segmento correspondiente la cual es un objetivo de proceso. En la Etapa S125, en un caso en donde se determina que no existe una CU sin procesar en el segmento correspondiente, la unidad 132 de codificación de datos de CU permite al proceso continuar a la Etapa S126.
La unidad 131 de codificación de NAL repite los procesos desde la Etapa S123 a la Etapa S125 para todos los segmentos en una imagen correspondiente la cual es un objetivo de proceso. En la Etapa S126, en un caso en donde se determina que no existen segmentos sin procesar en la imagen correspondiente, la unidad 131 de codificación de NAL permite al proceso continuar a la Etapa S127.
La unidad 131 de codificación de NAL repite los procesos desde la Etapa S122 hasta la Etapa S126 para todas las imágenes en una secuencia correspondiente la cual es un objetivo de proceso. En la Etapa S127 en un caso en donde se determina que no existe una imagen sin procesar en la secuencia correspondiente, la unidad 131 de codificación de NAL permite al proceso de codificación reversible terminar, y el proceso regresa a la Figura 6.
Flujo de Proceso de Codificación de CU
A continuación, se describirá un ejemplo de un flujo del proceso de codificación de CU realizado en la Etapa S124 de la Figura 7 con referencia a los diagramas de flujo de la Figura 8 y la Figura 9.
Cuando el proceso de codificación de CU inicia, en la Etapa S131, la unidad 121 de control de codificación determina un tipo del segmento correspondiente a partir de los datos de NAL generados por la unidad 131 de codificación de NAL; y determina si el segmento correspondiente es un segmento I o no. Solamente en un caso en donde el segmento correspondiente no es el segmento I (es un segmento P o un segmento B) , la unidad 141 de codificación de indicador de salto genera el indicador de salto y codifica el indicador de salto en la Etapa S132.
En un caso en donde la unidad 121 de control de
codificación determina que un valor del indicador de salto es 1 en la Etapa S133, la unidad 142 de codificación de modo de salto la cual adquiere el resultado de la determinación del mismo desde la unidad 121 de control de codificación codifica los datos de CU en el modo de salto en la Etapa S134. Cuando la codificación termina, el proceso de codificación de CU termina, y el proceso regresa a la Figura 7.
Además, en la Etapa S133 de la Figura 8, en un caso en donde la unidad 121 de control de codificación determina que el valor del indicador de salto es 0 o no existe un indicador de salto, la unidad 121 de control de codificación permite al proceso continuar a la Etapa S135. En este caso, la codificación en el modo de salto no se realiza.
La unidad 143 de codificación de indicador de fusión genera y codifica el indicador de fusión en la Etapa S135.
En un caso en donde la unidad 121 de control de codificación determina que un valor del indicador de fusión es 1 en la Etapa S136, la unidad 144 de codificación de modo de fusión la cual adquiere el resultado de determinación del mismo desde la unidad 121 de control de codificación codifica los datos de CU en el modo de fusión en la Etapa S137. Cuando la codificación termina, el proceso de codificación de CU termina, y el proceso regresa a la Figura 7.
Además, en la Etapa S136 de la Figura 8, en un caso
en donde la unidad 121 de control de codificación determina que el valor del indicador de fusión es 0 o no existe un indicador de fusión, el proceso continúa al diagrama de flujo de la Figura 9 y se realiza la codificación basada en el modo de predicción empleado.
Es decir, solamente en un caso en donde la unidad 121 de control de codificación determina que el segmento correspondiente el cual es un objetivo de proceso no es el segmento I en la Etapa S141 de la Figura 9, la unidad 145 de codificación PredMode genera y codifica pred_mode el cual es un parámetro que muestra un tipo del modo de predicción del segmento correspondiente, en la Etapa S142.
En un caso en donde la unidad 121 de control de codificación determina que el modo de predicción de una región correspondiente es el modo de intra-predicción, con referencia a PredMode en la Etapa S143, la unidad 146 de intra-codificación codifica los datos de CU en el modo de intra-predicción en la Etapa S144. Es decir, la información de imágenes de diferencia (coeficiente cuantificado) , la información relacionada con el modo de intra-predicción, o similar se codifica. Cuando la codificación termina, el proceso de codificación de CU termina, y el proceso regresa a la Figura 7.
Además, en un caso en donde la unidad 121 de control de codificación determina que el modo de predicción
de una región correspondiente es el modo de inter-predicción, y no el modo de intra-predicción (Etapa S143 y Etapa S145) , la unidad 147 de intra-codificación codifica los datos de CU en el modo de inter-predicción en la Etapa S146. Es decir, la información de imágenes de diferencia (coeficiente cuantificado) , la información relacionada con el modo de inter-predicción, o similar se codifica. Cuando la codificación termina, el proceso de codificación de CU termina, y el proceso regresa a la Figura 7.
Además, en un caso en donde la unidad 121 de control de codificación determina que el modo de predicción de una región correspondiente no es el modo de intra-predicción o el modo de inter-predicción (Etapa S143 y Etapa S145) , la unidad 148 de codificación de modo directo codifica los datos de CU en el modo de predicción directo en la Etapa S147. Cuando la codificación termina, el proceso de codificación de CU termina, y el proceso regresa a la Figura 7.
Dispositivo de Descodificación de imágenes
La Figura 10 es un diagrama de bloque que muestra una configuración ejemplar principal de un dispositivo de descodificación de imágenes. Un dispositivo 200 de descodificación de imágenes mostrado en la Figura 10 descodifica los datos codificados generados por el
dispositivo 100 de codificación de imágenes por un método de descodificación que corresponde al método de codificación del mismo. Además, el dispositivo 200 de descodificación de imágenes realiza el proceso de predicción para cada región arbitraria (por ejemplo, unidad de predicción (Pü) o similar) , en la misma forma que el dispositivo 100 de codificación de imágenes.
Como se muestra en la Figura 10, el dispositivo 200 de descodificación de imágenes incluye una memoria intermedia 201 de acumulación, una unidad 202 de descodificación reversible, una unidad 203 de cuantificación inversa, una unidad 204 de transformada ortogonal inversa, una unidad 205 de cálculo, un filtro 206 de bucle, una memoria intermedia 207 de redisposición de pantalla, y una unidad 208 de conversión de D/A. El dispositivo 200 de descodificación de imágenes además incluye una memoria 209 de trama, una unidad 210 de selección, una unidad 211 de intra-predicción, una unidad 212 de predicción de movimiento - compensación, y una unidad 213 de selección.
El dispositivo 200 de descodificación de imágenes además incluye una unidad 221 de control de descodificación.
La memoria intermedia 201 de acumulación acumula los datos codificados transmitidos, y suministra los datos codificados a la unidad 202 de descodificación reversible en un momento predeterminado. La unidad 202 de descodificación
reversible descodifica la información la cual se suministra por la memoria intermedia 201 de acumulación y se codifica por la unidad 106 de codificación reversible de la Figura 1, por un método que corresponde al método de codificación de la unidad 106 de codificación reversible. La unidad 202 de descodificación reversible suministra el coeficiente cuantificado de la imagen de diferencia el cual se obtiene por descodificación, a la unidad 203 de cuantificación inversa .
Además, la unidad 202 de descodificación reversible determina si el modo de intra-predicción se selecciona o si el modo de inter-predicción se selecciona para el modo de predicción óptimo, y suministra la información relacionada con el modo de predicción óptimo, a la unidad con el modo el cual se determina como siendo seleccionado, entre la unidad 211 de intra-predicción y la unidad 212 de predicción de movimiento - compensación. Es decir, por ejemplo, en un caso en donde el modo de inter-predicción se selecciona como el modo de predicción óptimo en el dispositivo 100 de codificación de imágenes, la información relacionada con el modo de predicción óptimo se suministra a la unidad 212 de predicción de movimiento - compensación.
La unidad 203 de cuantificación inversa cuantifica inversamente el coeficiente cuantificado obtenido por la descodificación realizada por la unidad 202 de
descodificación reversible por un método que corresponde al método de cuantificación de la unidad 105 de cuantificación de la Figura 1, y suministra el coeficiente de transformada obtenido a la unidad 204 de transformada ortogonal inversa.
La unidad 204 de transformada ortogonal inversa realiza transformada ortogonal inversa del coeficiente de transformada suministrado desde la unidad 203 de cuantificación inversa por un método que corresponde al método de transformada ortogonal de la unidad 104 de transformada ortogonal de la Figura 1. Por este proceso de transformada ortogonal inversa, la unidad 204 de transformada ortogonal inversa obtiene datos residuales descodificados que corresponden a los datos residuales antes de someterse a la transformada ortogonal en el dispositivo 100 de codificación de imágenes (mismos datos que la información de diferencia descodificada localmente la cual se produce por la unidad 109 de transformada ortogonal inversa del dispositivo 100 de codificación de imágenes) .
Los datos residuales descodificados obtenidos al realizar la transformada ortogonal inversa se suministran a la unidad 205 de cálculo. Además, la imagen de predicción se suministra a la unidad 205 de cálculo desde la unidad 211 de intra-predicción o la unidad 212 de predicción de movimiento - compensación a través de la unidad 213 de selección.
La unidad 205 de cálculo agrega los datos
residuales descodificados y la imagen de predicción, y obtiene datos de imágenes descodificados que corresponden a los datos de imágenes antes de la resta de la imagen de predicción realizada por la unidad 103 de cálculo del dispositivo 100 de codificación de imágenes. La unidad 205 de cálculo suministra los datos de imágenes descodificados al filtro 206 de bucle.
El filtro 206 de bucle realiza adecuadamente el proceso de filtro de bucle que incluye el proceso de filtro de desbloqueo o el proceso de filtro de bucle adaptable, con respecto a la imagen descodificada suministrada, y la suministra a la memoria intermedia 207 de redisposición de pantalla .
El filtro 206 de bucle incluye un filtro de desbloqueo, un filtro de bucle adaptable, o similar, y realiza un proceso de filtro adecuado con respecto a la imagen descodificada suministrada desde la unidad 205 de cálculo. Por ejemplo, el filtro 206 de bucle remueve distorsión de bloque de la imagen descodificada al realizar un proceso de filtro de desbloqueo con respecto a la imagen descodificada. Además, por ejemplo, el filtro 206 de bucle realiza una mejora de calidad de imagen al realizar un proceso de filtro de bucle utilizando el Filtro Wiener con respecto a un proceso de filtro de desbloqueo que resulta del mismo (imagen descodificada en la que la distorsión de bloque
se remueve) .
Además, el filtro 206 de bucle puede realizar un proceso de filtro arbitrario con respecto a la imagen descodificada. Además, el filtro 206 de bucle puede realizar el proceso de filtro al utilizar el coeficiente de filtro suministrado desde el dispositivo 100 de codificación de imágenes de la Figura 1.
El filtro 206 de bucle suministra el resultado del proceso de filtro (imagen descodificada después del proceso de filtro) a la memoria intermedia 207 de redisposición de pantalla y la memoria 209 de trama. Además, la salida de imagen descodificada desde la unidad 205 de cálculo puede suministrarse a la memoria intermedia 207 de redisposición de pantalla o la memoria 209 de trama sin utilizar el filtro 206 de bucle. Es decir, el proceso de filtro realizado por el filtro 206 de bucle puede omitirse.
La memoria intermedia 207 de redisposición de pantalla realiza una redisposición de la imagen. Es decir, el orden de las tramas redispuestas por el orden de la codificación por la memoria intermedia 102 de redisposición de pantalla de la Figura 1, se redispone para el orden de la visualización original. La unidad 208 de conversión de D/A realiza una conversión de D/A de la imagen suministrada desde la memoria intermedia 207 de redisposición de pantalla, produce a y muestra la imagen en una pantalla (no mostrada) .
La memoria 209 de trama almacena la imagen descodificada suministrada, y suministra la imagen descodificada almacenada como una imagen de referencia a la unidad 210 de selección, en un momento predeterminado o basado en solicitudes externas de la unidad 211 de intra-predicción o la unidad 212 de predicción de movimiento -compensación.
La unidad 210 de selección selecciona un destino de suministro de la imagen de referencia suministrada desde la memoria 209 de trama. En caso de descodificación la imagen la cual se somete a la intra-codificación, la unidad 210 de selección suministra la imagen de referencia suministrada desde la memoria 209 de trama a la unidad 211 de intra-predicción. Además, en caso de descodificación la imagen la cual se somete a la inter-codificación, la unidad 210 de selección suministra la imagen de referencia suministrada desde la memoria 209 de trama a la unidad 212 de predicción de movimiento - compensación.
Información o similar que muestra el modo de intra-predicción obtenido al descodificar la información de encabezado incluida en los datos codificados, se suministra adecuadamente a la unidad 211 de intra-predicción desde la unidad 202 de descodificación reversible. La unidad 211 de intra-predicción realiza la intra-predicción utilizando la imagen de referencia obtenida desde la memoria 209 de trama,
en el modo de intra-predicción utilizado en la unidad 114 de intra-predicción de la Figura 1, y genera la imagen de predicción. La unidad 211 de intra-predicción suministra la imagen de predicción generada a la unidad 213 de selección.
La unidad 212 de predicción de movimiento compensación adquiere información la cual se obtiene al descodificar la información de encabezado (información de modo de predicción óptima, información de diferencia, un número de código de la información de vector de movimiento de predicción, y similar) desde la unidad 202 de descodificación reversible .
La unidad 212 de predicción de movimiento compensación realiza inter-predicción utilizando la imagen de referencia adquirida desde la memoria 209 de trama, en el modo de inter-predicción utilizado en la unidad 115 de predicción de movimiento - compensación de la Figura 1, y genera la imagen de predicción.
La unidad 221 de control de descodificación controla el proceso de descodificación de la unidad 202 de descodificación reversible. Debido a que la unidad 202 de descodificación reversible básicamente realiza el proceso de descodificación por un método que corresponde a la unidad 106 de codificación reversible de la Figura 1, un método de control de la unidad 221 de control de descodificación es básicamente el mismo que el método de control de la unidad
121 de control de codificación de la Figura 1. Ya que el mismo método de control se utiliza en un lado de codificación y el lado de descodificación, la unidad 221 de control de descodificación puede seleccionar un método de descodificación que corresponde al método de codificación seleccionado por la unidad 121 de control de codificación, y puede controlarlo de manera que el proceso de descodificación se realiza apropiadamente.
Es decir, la unidad 221 de control de descodificación realiza determinación de si la descodificación se realiza en el modo de fusión o no.
Además, la unidad 221 de control de descodificación también realiza el control del proceso de descodificación en un modo diferente al modo de fusión, por ejemplo, el modo de salto, el modo de intra-predicción, el modo de inter-predicción, el modo directo, o similar.
La unidad 202 de descodificación reversible realiza un proceso de descodificación reversible en un modo seleccionado por la unidad 221 de control de descodificación.
Unidad de Descodificación Reversible y Unidad de Control de Descodificación
La Figura 11 es un diagrama de bloque que muestra una configuración ejemplar p'rincipal de la unidad 202 de descodificación reversible y la unidad 221 de control de
descodificación.
Como se muestra en la Figura 11, la unidad 202 de descodificación reversible incluye una unidad 231 de descodificación de NAL y una unidad 232 de descodificación de datos de CU.
La unidad 231 de descodificación de NAL descodifica los datos codificados de NAL de manera que el parámetro de secuencia establecido, el conjunto de parámetros de imagen, el encabezado de sección, y similares. La unidad 232 de descodificación de datos de CU descodifica los datos codificados en la capa jerárquica menor que la CU.
La unidad 232 de descodificación de datos de CU incluye una unidad 241 de descodificación de indicador de salto, una unidad 242 de descodificación de modo de salto, una unidad 243 de descodificación de indicador de fusión, y una unidad 244 de descodificación de modo de fusión. La unidad 232 de descodificación de datos de CU además incluye una unidad 245 de descodificación de PredMode, una unidad 246 de intra-descodificación, una unidad 247 de inter-descodificación, y una unidad 248 de descodificación de modo directo .
La unidad 241 de descodificación de indicador de salto descodifica un indicador de salto, de acuerdo con el control de la unidad 221 de control de descodificación. El unidad 242 de descodificación de modo de salto realiza un
proceso de descodificación en el modo de salto, de acuerdo con el control de la unidad 221 de control de descodificación .
La unidad 243 de descodificación de indicador de fusión descodifica un indicador de fusión (MergeFlag) , de acuerdo con el control de la unidad 221 de control de descodificación. La unidad 244 de descodificación de modo de fusión realiza un proceso de descodificación en el modo de fusión, de acuerdo con el control de la unidad 221 de control de descodificación.
La unidad 245 de descodificación de Pred ode descodifica PredMode, de acuerdo con el control de la unidad 221 de control de descodificación. La unidad 246 de intra-descodificación realiza un proceso relacionado con la descodificación de los datos codificados de la imagen de diferencia generada al utilizar la intra-predicción, de acuerdo con el control de la unidad 221 de control de descodificación. La unidad 247 de intra-descodificación realiza un proceso relacionado con la descodificación de los datos codificados de la imagen de diferencia generada al utilizar la inter-predicción, de acuerdo con el control de la unidad 221 de control de descodificación. La unidad 248 de descodificación de modo directo realiza un proceso relacionado con la descodificación de los datos codificados de la imagen de diferencia generada al utilizar el modo
directo, de acuerdo con el control de la unidad 221 de control de descodificación.
Flujo de Proceso de Descodificación
A continuación, se describirá un flujo de cada proceso realizado por el dispositivo 200 de descodificación de imágenes descrito en anterior. En primer lugar, se describirá un ejemplo del flujo del proceso de descodificación con referencia a un diagrama de flujo de la Figura 12.
Si el proceso de descodificación inicia, en la Etapa S201, la memoria intermedia 201 de acumulación acumula los datos codificados transmitidos (corriente codificada) . En la Etapa S202, la unidad 202 de descodificación reversible descodifica los datos codificados suministrados desde la memoria intermedia 201 de acumulación. Es decir, una imagen I, una imagen P, y, una imagen B las cuales se codifican por la unidad 106 de codificación reversible de la Figura 1 se descodifican. Además, los diversos elementos de información diferente a la información de imágenes de diferencia incluidos en los datos codificados tales como la información de movimiento de diferencia, el número de código de la información de vector de movimiento de predicción, la información de fusión, y similar, también son descodificados.
En la Etapa S203, la unidad 203 de cuantificación
51
inversa cuantifica inversamente el coeficiente de transformada cuantificado (coeficiente cuantificado) el cual se obtiene por el proceso de la Etapa S202. En la Etapa S204, la unidad 204 de transformada ortogonal inversa realiza transformada ortogonal inversa del coeficiente de transformada el cual se cuantifica inversamente en la Etapa S203.
En la Etapa S205, la unidad 211 de intra-predicción o la unidad 212 de predicción de movimiento - compensación realiza el proceso de predicción utilizando la información suministrada. En la Etapa S206, la unidad 213 de selección selecciona la imagen de predicción generada en la Etapa S205. En la Etapa S207, la unidad 205 de cálculo agrega la información de predicción seleccionada en la Etapa S206, a la información de diferencia obtenida al realizar la transformada ortogonal inversa en la Etapa S204. Por consiguiente, se obtiene la imagen descodificada.
En la Etapa S208, el filtro 206 de bucle realiza adecuadamente el proceso de filtro de bucle que incluye el proceso de filtro de desbloqueo o un proceso de filtro de bucle adaptable, con respecto a la imagen descodificada obtenida en la Etapa S207.
En la Etapa S209, la memoria intermedia 207 de redisposición de pantalla realiza una redisposición de la imagen sometida al proceso de filtro en la Etapa S208. Es
decir, el orden de las tramas redispuestas para la codificación por la memoria intermedia 102 de redisposición de pantalla del dispositivo 100 de codificación de imágenes, se redispone al orden de la visualizacion original.
En la Etapa S210, la unidad 208 de conversión de D/A realiza una conversión de D/A de la imagen en la que el orden de las tramas se redispone en la Etapa S209. Esta imagen se produce para una pantalla (no mostrada) y la imagen se despliega.
En la Etapa S211, la memoria 209 de trama almacena la imagen sometida al proceso de filtro en la Etapa S208. Esta imagen se utiliza para generar la imagen de predicción (proceso de predicción) , como una imagen de referencia en la Etapa S205.
Cuando el proceso de la Etapa S211 termina, el proceso de descodificación termina.
Flujo de Proceso de Descodificación Reversible
A continuación, se describirá un ejemplo del flujo del proceso de descodificación reversible realizado en la Etapa S202 de la Figura 12 con referencia a un diagrama de flujo de la Figura 13.
Este proceso de descodificación reversible se realiza para cada capa jerárquica de la imagen, en la misma forma que en el caso del proceso de codificación reversible.
Es decir, la unidad 231 de descodificación de NAL descodifica los datos codificados de la SPS en la Etapa S221, descodifica los datos codificados de la PPS en la Etapa S222, y descodifica los datos codificados del encabezado de sección en la Etapa S223. En la Etapa S224, la unidad 232 de descodificación de datos de CU descodifica la CU correspondiente la cual es un objetivo de proceso.
La unidad 232 de descodificación de datos de CU repite el proceso de la Etapa S224 para todas las CU en un segmento correspondiente el cual es un objetivo de proceso. En la Etapa S225, en un caso en donde se determina que no existe una CU sin procesar en el segmento correspondiente, la unidad 232 de descodificación de datos de CU permite al proceso continuar a la Etapa 226.
La unidad 231 de descodificación de NAL repite los procesos desde la Etapa S223 a la Etapa S225 para todos los segmentos en una imagen correspondiente la cual es un objetivo de proceso. En la Etapa S226, en un caso en donde se determina que no existen segmentos sin procesar en la imagen correspondiente, la unidad 231 de descodificación de NAL permite al proceso continuar a la Etapa S227.
La unidad 231 de descodificación de NAL repite los procesos desde la Etapa S222 hasta la Etapa S226 para todas las imágenes en una secuencia correspondiente la cual es un objetivo de proceso. En la Etapa S227, en un caso en donde se
determina que no existe una imagen sin procesar en la secuencia correspondiente, la unidad 231 de descodificación de NAL permite al proceso de descodificación reversible terminar, y el proceso regresa a la Figura 12.
Proceso de Descodificación de CU
A continuación, se describirá un ejemplo de un flujo del proceso de descodificación de CU realizada en la Etapa S224 de la Figura 13 con referencia al diagrama de flujo de la Figura 14 y la Figura 15.
Cuando el proceso de descodificación de CU inicia, en la Etapa S231, la unidad 221 de control de descodificación determina un tipo del segmento correspondiente a partir de los datos de NAL descodificados por la unidad 231 de descodificación de NAL, y determina si el segmento correspondiente es un segmento I o no.
En un caso en donde el segmento correspondiente no es el segmento I (es un segmento P o un segmento B) , la unidad 241 de descodificación de indicador de salto descodifica el indicador de salto y en la Etapa S232. En un caso en donde se determina que el segmento correspondiente es el segmento I, el indicador de salto no se codifica, y de este modo este proceso se omite.
En un caso en donde la unidad 221 de control de descodificación determina que existe el indicador de salto y
el valor del mismo es 1 en la Etapa S233, la unidad 242 de descodificación de modo de salto descodifica los datos de CU en el modo de salto en la Etapa S234. Cuando los datos de CU se descodifican, la unidad 242 de descodificación de modo de salto permite al proceso de descodificación de CU terminar, y el proceso regresa a la Figura 13.
En un caso en donde la unidad 221 de control de descodificación determina que no existe un indicador de salto, o el valor del mismo es 0 en la Etapa S233, la unidad 243 de descodificación de indicador de fusión descodifica al indicador de fusión en la Etapa S235.
En un caso en donde la unidad 221 de control de descodificación determina que existe el indicador de fusión y el valor del mismo es 1 en la Etapa S236, la unidad 244 de descodificación de modo de fusión descodifica los datos de CU en el modo de fusión en la Etapa S237. Cuando los datos de CU se descodifican, la unidad 244 de descodificación de modo de fusión permite al proceso de descodificación de CU terminar, y el proceso regresa a la Figura 13.
En un caso en donde la unidad 221 de control de descodificación determina que no existe un indicador de fusión o el valor del mismo es 0 en la Etapa S238, el proceso continúa a la Figura 15.
En este caso, los datos de CU se descodifican por un método basado en el modo de predicción. Es decir, en un
caso en donde la unidad 221 de control de descodificación determina que el segmento correspondiente no es el segmento I en la Etapa S241 de la Figura 15, la unidad 245 de descodificación de PredMode descodifica pred_mode (PredMode) en la Etapa S242. En un caso en donde se determina que el segmento correspondiente es el segmento I, pred_mode no se codifica, y de este modo el proceso del mismo se omite.
En un caso en donde la unidad 221 de control de descodificación determina que el modo de predicción de una región correspondiente es el modo de intra-predicción en la Etapa S243, la unidad 246 de intra-descodificación realiza la descodificación en el modo de intra-predicción (descodifica los datos de CU codificados en el modo de intra-predicción por un método apropiado) en la Etapa S244. Cuando los datos de CU se descodifican, la unidad 246 de intra-descodificación permite al proceso de descodificación de CU terminar, y el proceso regresa a la Figura 13.
Además, en un caso en donde la unidad 221 de control de descodificación determina que el modo de predicción de la región correspondiente no es el modo de intra-predicción en la Etapa S243 y determina que el modo de predicción del mismo es el modo de inter-predicción en la Etapa S245, la unidad 247 de intra-descodificación realiza la descodificación en el modo de inter-predicción (descodifica los datos de CU codificados en el modo de inter-predicción
por medio de un método apropiado) en la Etapa S246. Cuando los datos de CU se descodifican, la unidad 247 de inter-descodificación permite al proceso de descodificación de CU terminar, y el proceso regresa a la Figura 13.
Además, en un caso en donde la unidad 221 de control de descodificación determina que el modo de predicción de la región correspondiente no es el modo de intra-predicción en la Etapa S243 y determina que el modo de predicción del mismo no es el modo de inter-predicción en la Etapa S245, la unidad 248 de descodificación de modo directo realiza la descodificación en el modo de predicción directo (descodifica los datos de CU codificados en el modo de predicción directo por un método apropiado) en la Etapa S247. Cuando los datos de CU se descodifican, la unidad 248 de descodificación de modo directo permite al proceso de descodificación de CU terminar, y el proceso regresa a la Figura 13.
Una Modalidad del Aparato de Procesamiento de imágenes al que se Aplica la Presente Tecnología
La Figura 16 es un diagrama de bloque que muestra una configuración ejemplar de una modalidad de un aparato de procesamiento de imágenes al que se aplica la presente tecnología .
En la Figura 16, el aparato de procesamiento de
imágenes incluye un codificador 1000 y un descodificador 2000. Además, el codificador 1000 y el descodificador 2000 pueden montarse como bloques separados en un aparato independiente, o pueden montarse respectivamente en aparatos independientes separados. Además, cada uno del codificador 1000 y el descodificador 2000 puede configurarse como un aparato independiente.
El codificador 1000 se configura de la misma manera en que el dispositivo 100 de codificación de imágenes de la Figura 1.
Es decir, en el codificador 1000, una memoria intermedia 1001 de imagen de entrada corresponde a la memoria intermedia 102 de redisposición de pantalla de la Figura 1, y una unidad 1002 de cálculo corresponde a la unidad 103 de cálculo de la Figura 1. Una unidad 1003 de transformada ortogonal corresponde a la unidad 104 de transformada ortogonal de la Figura 1, y una unidad 1004 de cuantificación corresponde a la unidad 1005 de cuantificación de la Figura 1. Una unidad 1005 de codificación de entropía corresponde a la unidad 106 de codificación reversible de la Figura 1, y una unidad 1006 de cuantificación inversa corresponde a la unidad 108 de cuantificación inversa de la Figura 1. Una unidad 1007 de transformada ortogonal inversa corresponde a la unidad 109 de transformada ortogonal inversa de la Figura 1, y una unidad 1008 de cálculo corresponde a la unidad 110
de cálculo de la Figura 1. Un filtro 1009 de desbloqueo, una unidad 1010 de compensación de muestras adaptable, una unidad 1011 de estimación de compensación de muestras adaptable, un filtro 1012 de bucle adaptable, y una unidad 1013 de estimación de filtro de bucle adaptable corresponde al filtro 111 de bucle de la Figura 1, y una memoria intermedia de imagen descodificada (DPB) 1014 corresponde a la memoria 112 de trama de la Figura 1. Una unidad 1015 de estimación de intra-dirección y una unidad 1016 de intra-predicción corresponden a la unidad 114 de intra-predicción de la Figura 1, y una unidad 1017 de estimación de movimiento y una unidad 1018 de inter-predicción corresponde a la unidad 115 de predicción de movimiento - compensación de la Figura 1. Una unidad 1019 de determinación de modo corresponde a la unidad 116 de selección de imágenes de predicción de la Figura 1.
Además, el codificador 1000 es diferente del dispositivo 100 de codificación de imágenes de la Figura 1, en que una unidad 1021 de establecimiento se proporciona de forma novedosa, la unidad 1018 de inter-predicción realiza un proceso utilizando información producida por la unidad 1021 de establecimiento, y la información producida por la unidad 1021 de establecimiento se incluye en los datos codificados, en la unidad 1005 de codificación de entropía.
Además, en el codificador 1000 de la Figura 16, los bloques que corresponden a la unidad 101 de conversión de
A/D, la memoria intermedia 107 de acumulación, la unidad 117 de control de índice, y la unidad 121 de control de codificación de la Figura 1 se omiten en el dibujo.
El descodificador 2000 se configura en la misma forma en que el dispositivo 200 de descodificación de imágenes de la Figura 10.
Es decir, en el descodificador 2000, una unidad 2001 de descodificación de entropía corresponde a la unidad
202 de descodificación reversible de la Figura 10, y una unidad 2002 de cuantificación inversa corresponde a la unidad
203 de cuantificación inversa de la Figura 10. Una unidad 2003 de transformada ortogonal inversa corresponde a la unidad 204 de transformada ortogonal inversa de la Figura 10, y una unidad 2004 de cálculo corresponde a la unidad 205 de cálculo de la Figura 10. Un filtro 2005 de desbloqueo, una unidad 2006 de compensación de muestras adaptable, y un filtro 2007 de bucle adaptable corresponden al filtro 206 de bucle de la Figura 10, y una DPB 2008 corresponde a la memoria 209 de trama de la Figura 10. Una unidad 2009 de intra-predicción corresponde a la unidad 211 de intra-predicción de la Figura 10, y una unidad 2010 de inter-predicción corresponde a la unidad 212 de predicción de movimiento - compensación de la Figura 10. Una unidad 2011 de selección de modo corresponde a la unidad 213 de selección de la Figura 10.
Además, el descodificador 2000 es diferente del dispositivo 200 de descodificación de imágenes de la Figura 10, en que la unidad 2010 de inter-predicción 2010 realiza un proceso utilizando información la cual se incluye en datos codificados obtenidos por el codificador 1000 y se produce por la unidad 1021 de establecimiento.
Además, en el descodificador 2000 de la Figura 16, los bloques que corresponden a la memoria intermedia 201 de acumulación, la memoria intermedia 207 de redisposición de pantalla, la unidad 208 de conversión de D/A, y la unidad 221 de control de descodificación de la Figura 10 se omiten en el dibujo.
En el aparato de procesamiento de imágenes de la Figura 16 configurado como se describe en lo anterior, una imagen se codifica y los datos se codifican (corriente codificada) obtenidos como resultado del mismo se transmiten, en el codificador 1000, en la misma forma en que el dispositivo 100 de codificación de imágenes de la Figura 1.
Sin embargo, en el codificador 1000, la unidad 1021 de establecimiento establece y produce información predeterminada. La información producida por la unidad 1021 de establecimiento (en lo sucesivo, también denominada como información de establecimiento) se suministra a la unidad 1018 de inter-predicción y la unidad 1005 de codificación de entropía .
La unidad 1018 de inter-predicción genera una imagen de predicción basada en la información de establecimiento desde la unidad 1021 de establecimiento. Esta imagen de predicción se utiliza para codificar (codificación de predicción) de los bloques de la imagen tal como la CU, la PU, una partición de PU, y la TU en la unidad 1002 de cálculo a la unidad 1105 de codificación de entropía, si es necesario .
Además, la unidad 1105 de codificación de entropía incluye la información de establecimiento desde la unidad 1021 de establecimiento en los datos codificados y transmite la información de establecimiento.
Mientras tanto, el descodificador 2000 recibe los datos codificados transmitidos desde el codificador 1000 y descodifica los datos codificados en una imagen, en la misma manera en que el dispositivo 200 de descodificación de imágenes de la Figura 10.
Sin embargo, en el descodificador 2000, la unidad 2001 de descodificación de entropía separa la información de establecimiento de los datos codificados y suministra la información de establecimiento a la unidad 2010 de inter-predicción .
La unidad 2010 de inter-predicción genera la imagen de predicción basada en la información de establecimiento desde la unidad 2001 de descodificación de entropía. Esta
£9
imagen de predicción se utiliza para descodificar bloques de la imagen sometida a la codificación de predicción en la unidad 2001 de descodificación de entropía a la unidad 2004 de cálculo.
En el aparato de procesamiento de imágenes de la Figura 16, la información de identificación, información de restricción, o similares se utilizan, por ejemplo, para la información de establecimiento establecida por la unidad 1021 de establecimiento.
En lo sucesivo, la información de identificación y la información de restricción se describirán.
Información de Identificación
En primer lugar, se describirá el conjunto de información de identificación en la unidad 1021 de establecimiento .
En la presente, como se describe en lo anterior, el modo de fusión es una tecnología para transmitir el indicador (información del indicador) , en lugar de la información de movimiento (dirección de predicción, vector de movimiento, o índice de referencia) (sin transmitir la información de movimiento) , y puede mejorar la eficiencia de codificación.
El modo de fusión puede utilizarse con respecto a unidades de bloque de ambos de una unidad de CU y una unidad de PU, y una tecnología las cuales se describirán a
continuación, pueden aplicarse a cualesquier modos de fusión realizados con las unidades de bloque de ambas de la unidad de CU y la unidad de PU.
Ahora, un bloque (región correspondiente) el cual es un objetivo de la codificación en el codificador 1000 se denomina como bloque objetivo.
En el modo de fusión, los candidatos de una región de fusión los cuales son una región a fusionarse con el bloque objetivo (en lo sucesivo, también denominado como candidatos de fusión) se seleccionan desde una región (región periférica) la cual se encuentra espacial y temporalmente cercana al bloque objetivo. Entonces, (los candidatos de fusión a ser) la región de fusión se selecciona desde los candidatos de fusión para aumentar la eficiencia de codificación, y merge_idx que indica la región de fusión del mismo se incluye en la corriente codificada (datos codificados ) .
Además, merge_idx se describe como sigue. merge_idx [xO] [yO] especifica el índice candidato de fusión de la lista de candidatos de fusión en donde xO, yO especifican la ubicación (x0,y0) de la muestra de luma superior izquierda del bloque de predicción considerado relativo a la muestra de luma superior izquierda de la imagen .
merge_idx es información que indica la región hacia
la región de fusión (o información de movimiento de la región del mismo) , la cual se utiliza en lugar de erge_Left_Flag descrita en anterior. Merge_Left_Flag indica la región en la ubicación izquierda o superior del bloque objetivo, pero de acuerdo con merge_idx, también es posible indicar regiones en otras ubicaciones.
Sin embargo, en la compensación de movimiento (MC) del codificador 1000, si ocurre frecuentemente el acceso a la DPB 1014 la cual almacena la imagen descodificada, un margen de un ancho de banda de memoria el cual es un índice de transmisión en el que la imagen descodificada se lee desde la DPB 1014 aumenta.
Es decir, cuando la predicción de la imagen de predicción utilizada en la MC, en caso de realizar tanto la predicción LO y la predicción Ll (en lo sucesivo, también denominada como predicción bidireccional (bi-predicción) ) , en lugar de una predicción de la predicción LO y la predicción Ll (en lo sucesivo, también denominada como predicción unidireccional (uni-predicción) ) , o en un caso en donde un tamaño de bloque del bloque objetivo es pequeño, el margen del ancho de banda de memoria aumenta.
Sin embargo, el costo del codificador 1000 aumenta cuando se intenta asegurar un margen amplio del ancho de banda (índice alto), como el ancho de banda de memoria. Esto también aplica al descodificador 2000 que incluye la DPB
2008, en la misma manera.
Anteriormente, el ancho de banda de memoria máximo necesario en la MC (en lo sucesivo, también denominado como ancho de banda necesario máximo) se vuelve un cuello de botella en el montaje del codificador 1000 y el descodificador 2000.
Como un método para disminuir el margen del ancho de banda necesario máximo, existe un método para prohibir el uso de un bloque que tiene un tamaño pequeño, o un método para prohibir el uso de predicción bidireccional dependiendo del tamaño del bloque, por ejemplo. Sin embargo, en un caso en donde el uso de la predicción bidireccional se prohibe para bloques pequeños que tienen un tamaño menor al tamaño predeterminado, cuando todos los candidatos de fusión se encuentran en la región a someterse a la predicción bidireccional, los candidatos de fusión a ser la región de fusión no pueden seleccionarse para los bloques que tienen un tamaño menor que el tamaño predeterminado, y como resultado, el modo de fusión no puede utilizarse y la eficiencia de codificación puede degradarse.
En la presente, en el codificador 1000, el ancho de banda necesario máximo se suprime al establecer la información de identificación en la unidad 1021 de establecimiento y realizar la predicción (generación de la imagen de predicción) en la unidad 1018 de inter-predicción
basado en la información de identificación.
En la presente, la información de identificación es la información para identificar una relación de correspondencia entre el tamaño del bloque de la imagen y el cambio del método de predicción aplicado al bloque, y como la información de identificación, cualquiera de la primera información, segunda información, y tercera información las cuales se describirán posteriormente pueden emplearse, por ejemplo.
La primera información la cual puede emplearse como la información de identificación es información disable_bip_small_mrg_idc (indicador), y la información disable_bip_small_mrg_idc puede tener cuatro valores de 0, 1, 2, y 3.
La Figura 17 es un diagrama que ilustra la información disable_bip_small_mrg_idc .
La información disable_bip_small_mrg_idc que tiene cada valor que indica un tamaño (tamaño de bloque) de un bloque (en la presente, por ejemplo, una partición de PU) en el que el método de predicción cambia, de manera que aplica la predicción unidireccional en lugar de la predicción bidireccional .
Es decir, la información disable_bip_small_mrg_idc que tiene un valor de 0, indica que el método de predicción de los candidatos de fusión no ha cambiado, no obstante el
tamaño de bloque de la partición de PU del bloque objetivo.
La información disable_bip_small_mrg_idc que tiene un valor de 1, indica que el método de predicción de los candidatos de fusión a los cuales se aplica la predicción bidireccional, se cambia (remplaza) de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, en un caso en donde un tamaño de bloque de la partición de PU del bloque objetivo es 4 x 4 (el número de pixeles de ancho x altura) , y un proceso en el modo de fusión se realiza.
En la presente, el hecho de que el método de predicción de los candidatos de fusión a los cuales se aplica la predicción bidireccional se cambie de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional y el proceso en el modo de fusión se realiza, significa que el método de predicción de los candidatos de fusión a los cuales se aplica la predicción bidireccional no se cambia a la predicción unidireccional en la práctica, sino que la predicción de los candidatos de fusión se asume que se realiza en la predicción unidireccional, y la información de movimiento con respecto a la predicción unidireccional se utiliza para el proceso del bloque objetivo (partición de PU del mismo) . Por lo tanto, la predicción de (no un bloque objetivo sino) un candidato de fusión mismo se realiza al utilizar un método de predicción el cual se determina
(selecciona) para el candidato de fusión sin cambio.
En un caso en donde disable_bip_small_mrg_idc que tiene un valor de 1 se establece, el método de predicción del candidato de fusión al cual se aplica la predicción bidireccional se cambia de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, y el proceso en el modo de fusión se realiza para la partición de PU que tiene un tamaño de bloque de 4 x 4.
Por lo tanto, por ejemplo, en un caso en donde el uso de predicción bidireccional se prohibe en la partición de PU que tiene un tamaño de bloque de 4x4, incluso si todos los candidatos de fusión son regiones que son bi-previstas , la predicción bidireccional se cambia a la predicción unidireccional, y se realiza un proceso en el modo de fusión.
Como resultado, es posible evitar que la eficiencia de codificación se degrade debido a que es incapaz de utilizar el modo de fusión en un caso en donde el uso de predicción bidireccional se prohibe en una partición de PU que tiene un tamaño predeterminado o menos.
Aqui, una pérdida de cambio de un método de predicción de un candidato de fusión de la predicción bidireccional en la predicción unidireccional en el modo de fusión es menor que una pérdida de ser incapaz de utilizar el modo de fusión.
La información disable_bip_small_mrg_idc que tiene un valor de 2 indica que en un caso en donde un tamaño de bloque de una partición de PU de un bloque objetivo es cualquiera de 4x4, 8x4, y 4x8, un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se cambia de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, y se realiza un proceso en el modo de fusión.
La información disable_bip_small_mrg_idc que tiene un valor de 3 indica que en un caso en donde un tamaño de bloque de una partición de PU de un bloque objetivo es cualquiera de 4x4, 8x4, 4x8, y 8x8, un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se cambia de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, y se realiza un proceso en el modo de fusión.
Aqui, los tamaños de bloque distintos a 4x4, 8x4, 4x8, y 8x8 descritos en lo anterior pueden emplearse como tamaño de bloque de una partición de PU en la cual un método de predicción de un candidato de fusión se cambia de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional.
Además, los valores tomados por la información disable_bip_small_mrg_idc no se limitan a los cuatro valores de 0 a 3.
Además, la predicción bidireccional es la predicción de realizar, por ejemplo, tanto predicción LO como predicción Ll, y la predicción unidireccional la cual se aplica a un candidato de fusión en lugar de la predicción bidireccional es cualquiera de la predicción LO y la predicción Ll como la predicción bidireccional.
En un caso en donde la información disable_bip_small_mrg_idc como la primera información se utiliza, es necesario determinar previamente establecer cuál de la predicción LO y la predicción Ll como la predicción unidireccional aplicada a un candidato de fusión en lugar de la predicción bidireccional, y unificar la predicción en el codificador 1000 y el descodificador 2000.
La Figura 18 es un diagrama de flujo que ilustra un perfil de un proceso realizado por el codificador 1000 y el descodificador 2000 en un caso en donde la información disable_bip_small_mrg_idc como la primera modalidad se utiliza .
En el codificador 1000, en la Etapa S1001, la unidad 1021 de establecimiento establece la información disable_bip_small_mrg_idc para un bloque objetivo, por ejemplo, basándose en un valor máximo de un ancho de banda de memoria del DPB 1014, y suministra la información a la unidad 1018 de inter-predicción y la unidad 1005 de codificación de entropía .
En la Etapa S1002, la unidad 1018 de inter-predicción realiza un proceso en el modo de fusión y además realiza la generación de una imagen de predicción basada en la información disable_bip_small_mrg_idc a partir de la unidad 1021 de establecimiento. Es decir, en un caso en donde un proceso (codificación) en el modo de fusión se realiza, la unidad 1018 de inter-predicción genera una imagen de predicción basada en la información disable_bip_small_mrg_idc a partir de la unidad 1021 de establecimiento.
Además, la unidad 1021 de establecimiento establece la información disable_bip_small_mrg_idc que tiene un mayor valor ya que un valor máximo de un ancho de banda de memoria del DPB 1014 se vuelve menor. Por consiguiente, ya que un valor máximo de un ancho de banda de memoria del DPB 1014 se vuelve menor, un método de predicción de un candidato de fusión de una partición de PU se cambia de la predicción bidireccional a la predicción unidireccional hasta la partición de PU que tiene un tamaño de bloque mayor, y un ancho de banda de memoria cuando se lee una imagen descodificada del DPB 1014 para la generación de una imagen de predicción se suprime.
Como se describe en lo anterior, un ancho de banda de memoria cuando se lee una imagen descodificada del DPB 1014 se suprime, y por consiguiente es posible evitar un incremento en un costo del codificador 1000.
En la Etapa S1003, la unidad 1002 de cálculo a la unidad 1005 de codificación de entropía codifica el bloque objetivo al utilizar la imagen de predicción generada en la Etapa S1002 cuando es necesario.
En la Etapa S1004, la unidad 1005 de codificación de entropía incluye (por ejemplo, multiplexa) la información disable_bip_small_mrg_idc de la unidad 1021 de establecimiento en los datos codificados, y transmite la información .
Además, la unidad 1005 de codificación de entropía puede incluir la información disable_bip_small_mrg_idc por ejemplo, en un SPS, un PPS, una APS, o un encabezado de sección de los datos codificados (corriente codificada) .
En contraste, en el descodificador 2000, en la Etapa S1011, la unidad 2001 de descodificación de entropía recibe los datos codificados que incluyen la información disable_bip_small_mrg_idc . Además, la unidad 2001 de descodificación de entropía separa la información disable_bip_small_mrg_idc de los datos codificados, y suministra la información a la unidad 2010 de inter-predicción .
En la Etapa S1012, la unidad 2010 de inter-predicción realiza un proceso en el modo de fusión y además realiza generación de una imagen de predicción basada en la información disable bip small mrg idc de la misma manera que
aquella de la unidad 1018 de inter-predicción . Es decir, en un caso en donde un proceso (codificación) en el modo de fusión se realiza, la unidad 2010 de inter-predicción genera una imagen de predicción basada en la información disable_bip_small_mrg_idc de la unidad 2001 de descodificación de entropía.
Además, en la Etapa S1013, la unidad 2001 de descodificación de entropía en la unidad 2004 de cálculo descodifica los datos codificados recibidos en la Etapa S1021 al utilizar la imagen de predicción generada en la Etapa S1012 cuando es necesario.
Además, en el codificador 1000, la unidad 1021 de establecimiento puede establecer la información disable_bip_small_mrg_idc en respuesta a la manipulación realizada por un usuario tal como un operador del codificador 1000.
Además, en el codificador 1000, al utilizar un ancho de banda de memoria de cada valor como un ancho de banda necesario máximo, un perfil o un nivel para regular una cantidad de proceso del descodificador puede definirse de acuerdo con el ancho de banda necesario máximo en cada valor, y el perfil y la información de nivel (profile_idc y level_idc) pueden incluirse en los datos codificados.
Aquí, profile_idc y level_idc se describen como sigue .
profile_idc y level_idc indican el perfil y nivel al cual se conforma la secuencia de video codificada.
Por consiguiente, profile_idc y level_idc no se han definido en detalle aún, pero por ejemplo, profile_idc y level_idc pueden definirse para incluir información de un ancho de banda necesario máximo en el MC.
Por ejemplo, profile_idc y level_idc pueden definirse para incluir información tal como valor mínimo de un tamaño de bloque de una partición de PU, se utilice o no una predicción bidireccional, y una combinación de un valor mínimo de un tamaño de bloque de una partición de PU y si se utiliza o no una predicción bidireccional.
En la unidad 1021 de establecimiento, por ejemplo, como se describe en lo anterior, la información disable_bip_small_mrg_idc se establece basándose en un valor máximo de un ancho de banda de memoria del DPB 1014.
Además, en el codificador 1000, el uso de una partición de PU que tiene un tamaño de bloque el cual es igual a o menor que un tamaño predeterminado, o aplicación de la predicción bidireccional a la partición de PU que tiene un tamaño de bloque el cual es igual o menor que un tamaño predeterminado se prohibe, se acuerdo con el profile_idc o level_idc .
Sin embargo, por ejemplo, aunque la aplicación de la predicción bidireccional se prohibe en una partición de PU
que tiene un tamaño de bloque de 4 x , en un caso en donde la información disable_bip_small_mrg_idc que tiene un valor de 1 se establece, en el codificador 1000, para la partición de PU de 4x4 (tamaño de bloque de) , un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se cambia de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, y se realiza un proceso en el modo de fusión.
Por consiguiente, para la partición de PU de 4x4 a la cual se prohibe la aplicación de la predicción bidireccional, incluso si todos los candidatos de fusión son regiones que son bi-previstas, la predicción bidireccional se cambia a la predicción unidireccional, y de esta manera un proceso en el modo de fusión puede realizarse.
También en el descodificador 2000, un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se cambia desde la predicción bidireccional hasta la predicción unidireccional basándose en la información disable_bip_small_mrg_idc cuando es necesario, en la misma forma que en el codificador 1000.
A continuación, la segunda información que puede emplearse como la información de identificación se describirá .
La segunda información la cual puede emplearse como la información de identificación es la información de
extensión disable_bip_small_mrg_idc la cual se obtiene al extender la información disable_bip_small_mrg_idc la cual es la primera información, y puede adoptar siete valores que incluyen, por ejemplo, 0, 1, 2, 3, 4, 5, y 6.
La Figura 19 es un diagrama que ilustra la información de extensión disable_bip_small_mrg_idc .
La información de extensión disable_bip_small_mrg_idc en cada valor indica un tamaño de bloque de una partición de PU de la cual un método de predicción se cambia de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, e indica una dirección de predicción de la predicción unidireccional la cual se aplica en lugar de la predicción bidireccional, y la semántica de la misma es como sigue .
Es decir, la información de extensión disable_bip_small_mrg_idc que tiene un valor de 0 indica que un método de predicción de un candidato de fusión no se cambia sin importar un tamaño de bloque de una partición de PU de un bloque objetivo de la misma manera que aquella de la información disable_bip_small_mrg_idc que tiene un valor de 0.
La información de extensión disable_bip_small_mrg_idc que tiene un valor de 1 ó 2 toda indica que, en un caso en donde un tamaño de bloque de una
partición de PU de un bloque objetivo es 4x4, un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se cambia de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, y se realiza un proceso en el modo de fusión, de la misma manera que aquel de la información disable_bip_small_mrg_idc que tiene un valor de 1.
Además, la información de extensión disable_bip_small_mrg_idc que tiene un valor de 1 indica que una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional por ejemplo, es la predicción LO de la predicción LO y la predicción Ll. Además, la información de extensión disable_bip_small_mrg_idc que tiene un valor de 2 indica que una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional por ejemplo, es la predicción Ll de la predicción LO y la predicción Ll .
La información de extensión disable_bip_small_mrg_idc que tiene un valor de 3 ó 4 toda indica que en un caso en donde un tamaño de bloque de una partición de PU de un bloque objetivo es cualquiera de 4x4, 8x4, y 4x8, un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se cambia de manera que la predicción unidireccional se aplica a la misma en lugar de la predicción bidireccional, y se realiza un
proceso en el modo de fusión, de la misma manera que aquel de la información disable_bip_small_mrg_idc que tiene un valor de 2.
Además, la información de extensión disable_bip_small_mrg_idc que tiene un valor de 3 indica que una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional, por ejemplo, es la predicción LO de la predicción LO y la predicción Ll. Además, la información de extensión disable_bip_small_mrg_idc que tiene un valor de 4 indica que una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional, por ejemplo, es la predicción Ll de la predicción LO y la predicción Ll.
La información de extensión disable_bip_small_mrg_idc que tiene un valor de 5 ó 6 toda indica que en un caso en donde un tamaño de bloque de una partición de PU de un bloque objetivo es cualquiera de 4x4, 8x4, 4x8, y 8x8, un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se cambia de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, y se realiza un proceso en el modo de fusión, de la misma manera que la información disable bip small mrg idc que tiene un valor de
Además, la información de extensión disable_bip_small_mrg_idc que tiene un valor de 5 indica que una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional, por ejemplo, es la predicción LO de la predicción LO y la predicción Ll . Además, la información de extensión disable_bip_small_mrg_idc que tiene un valor de 6 indica que una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional, por ejemplo, es la predicción Ll de la predicción LO y la predicción Ll.
La información de extensión disable_bip_small_mrg__idc como la segunda información indica no sólo un tamaño de bloque de una partición de PU de la cual se cambia un método de predicción de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional sino también una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional, de la misma manera que en la información disable_bip_small_mrg_idc como la primera información, y de esta manera no es necesario determinar previamente establecer cuál de la predicción LO y la predicción Ll como la predicción unidireccional aplicada a un candidato de fusión en lugar de la predicción bidireccional, con el codificador 1000 y el descodificador 2000.
11
Un proceso del codificador 1000 y el descodificador 2000 de la Figura 16 cuando se utiliza la información de extensión disable_bip_small_mrg_idc es la misma que el proceso descrito en la Figura 18 excepto para utilizar la información de extensión disable_bip_small_mrg_idc en lugar de la información disable_bip_small_mrg_idc, y de esta manera la descripción de la misma se omitirá.
A continuación, la tercera información la cual puede emplearse como la información de identificación, se describirá .
La tercera información que puede emplearse como la información de identificación es dos puntos de información que incluyen la información disable_bip_small_mrg_idc la cual es la primera información, e información modify_bip_small_mrg_10.
La Figura 20 es un diagrama que ilustra la he información modify_bip_small_mrg_10.
La información modify_bip_small_mrg_10 tiene dos valores que incluyen, por ejemplo, 0 y 1, e indican una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional.
Es decir, la información modify_bip_small_mrg_10 que tiene un valor de 0 indica que la predicción unidireccional aplicada en lugar de la predicción bidireccional, por ejemplo, es la predicción Ll, y la
información modify_bip_small_mrg_10 que tiene un valor de 1 indica que la predicción unidireccional aplicada en lugar de la predicción bidireccional, por ejemplo, es la predicción LO .
De acuerdo con la tercera información, un tamaño de bloque de una partición de PU de la cual un método de predicción se cambia puede controlarse de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional al utilizar la información disable_bip_small_mrg_idc, y una dirección de predicción de la predicción unidireccional aplicada en lugar de la predicción bidireccional puede controlarse al utilizar la información modify_bip_small_mrg_10.
Como resultado, puede controlarse una dirección de referencia en una unidad más pequeña.
En un caso en donde existe una diferencia en la calidad de predicción (error de predicción) dependiendo de una dirección de predicción de la predicción unidireccional, es decir, una dirección de referencia, en un caso en donde una imagen objetivo la cual es un objetivo de predicción temporalmente se acerca más a una imagen de referencia (imagen de referencia) en la predicción Ll que en la predicción LO, la predicción Ll generalmente tiende a tener una calidad de predicción mayor. En este caso, la predicción Ll se utiliza como predicción unidireccional aplicada en
lugar de la predicción bidireccional, y de esta manera, es posible incrementar la eficiencia de codificación.
Además, en un caso en donde existe una diferencia en un parámetro de cuantificación QP cuando las imágenes de referencia de la predicción LO y la predicción Ll se codifican, la imagen de referencia con un parámetro de cuantificación más pequeño QP se espera que se prediga con una mayor calidad. Además, cuando las escenas de imágenes en movimiento se cambian, emplear una dirección de referencia en la cual la misma escena se selecciona incrementa la calidad predeterminada. Es decir, en un caso en donde existe un cambio de escena, una imagen antes del cambio de escena se emplea como imagen de referencia cuando la imagen antes del cambio de escena se codifica, y una imagen después del cambio de escena se emplea como imagen de referencia cuando la imagen después del cambio de escena se codifica, por lo cual incrementa la calidad de predicción.
De acuerdo con la información modify_bip_small_mrg_10, es posible seleccionar una de la predicción LO y la predicción Ll, las cuales tienen excelente calidad de predicción, como predicción unidireccional aplicada en lugar de predicción bidireccional.
Además, la información modify_bip_small_mrg_10 puede incluirse en datos codificados cuando la información disable bip small mrg idc tiene valores distintos a 0.
Por consiguiente, la información modify_bip_small_mrg_10 puede incluirse en datos codificados en una capa jerárquica inferior a la información disable_bip_small_mrg_idc .
Por ejemplo, la información disable_bip_small_mrg_idc puede incluirse en un SPS, y la información modify_bip_small_mrg_10 puede incluirse en un encabezado de sección. La información modify_bip_small_mrg_10 puede incluirse en otros elementos, por ejemplo, una PPS, un encabezado de titulo, una LCU, una CU, una PU, y similares.
La capa jerárquica en la cual la información modify_bip_small_mrg_10 y la información disable_bip_small_mrg_idc se incluyen puede determinarse por el intercambio entre el grado al cual cambia en un método de predicción basado en la información modify_bip_small_mrg_10 y la información disable_bip_small_mrg_idc se controla en una unidad fina, y un incremento en una cantidad de datos debido a la información modify_bip_small_mrg_10 y la información disable_bip_small_mrg_idc se incluyen en datos codificados.
Un proceso del codificador 1000 y el descodificador 2000 de la Figura 16 cuando la información modify_bip_small_mrg_10 y la información disable_bip_small_mrg_idc se utilizan es el mismo que el proceso descrito en la Figura 18 excepto para utilizar la información modify bip small mrg 10 además de la información
disable_bip_small_mrg_idc, y de esta manera se omitirá la descripción de las mismas.
La Figura 21 es un diagrama de flujo que ilustra un perfil de la codificación de un SPS realizada por el codificador 1000 y la descodificación del SPS realizada por el descodificador 2000 cuando la información disable_bip_small_mrg_idc o la información de extensión disable_bip_small_mrg_idc se utiliza.
En el codificador 1000, en la Etapa S1021, la unidad 1005 de codificación de entropía incluye profile_idc y level_idc en un SPS de datos codificados (corriente codificada) .
Además, en la Etapa S1022, la unidad 1005 de codificación de entropía incluye la información disable_bip_small_mrg_idc o la información de extensión disable_bip_small_mrg_idc suministrada desde la unidad 1021 de establecimiento en el SPS de los datos codificados.
Por otro lado, en el descodificador 2000, en la Etapa S1031, la unidad 2001 de descodificación de entropía separa (lee) profile_idc y level_idc de los datos codificados .
Además, en la Etapa S1032, la unidad 2001 de descodificación de entropía separa la información disable_bip_small_mrg_idc o la información de extensión disable_bip_small_mrg_idc de los datos codificados, y
suministra la información a la unidad 2010 de inter-predicción .
La Figura 22 es un diagrama de flujo que ilustra un perfil de la codificación de un encabezado de sección realizado por el codificador 1000 y la descodificación del encabezado de sección realizado por el descodificador 2000 cuando la información disable_bip_small_mrg_idc y la información modify_bip_small_mrg_10 se utilizan.
En el codificador 1000, en la Etapa S1041, la unidad 1005 de codificación de entropía incluye la información modify_bip_small_mrg_10 de la unidad 1021 de establecimiento en un encabezado de sección de los datos codificados .
Por otro lado, en el descodificador 2000, en la Etapa S1051, la unidad 2001 de descodificación de entropía separa (lee) la información modify_bip_small_mrg_10 de los datos codificados, y suministra la información a la unidad 2010 de ínter-predicción .
Además, un proceso que incluye la información disable_bip_small_mrg_idc utilizada junto con la información modify_bip_small_mrg_10 en la SPS se realiza, por ejemplo, como se describe en la Figura 21.
La Figura 23 es un diagrama de flujo que ilustra un perfil de codificación de una CU realizada por el codificador 1000 y la descodificación de la CU realizada por el
descodificador 2000.
En la codificación de la CU, en la Etapa S1061, el codificador 1000 calcula los valores de función de costo en casos respectivos que incluyen un caso donde la CU como bloque objetivo se divide y un caso donde la CU no se divide. Aquí, en cuanto al valor de función de costo, por ejemplo, un valor denominado costo de RD en el cual una proporción de codificación generada y distorsión de codificación son tomadas en consideración se conoce.
En la Etapa S1062, el codificador 1000 determina si la CU como bloque objetivo se dividirá o no basándose en el costo de RD calculado en la Etapa S1061.
En la presente, en la Etapa S1062, en un caso donde el costo de RD cuando la CU se divide es menor que el costo de RD cuando la CU no se divide (en un caso donde una proporción de codificación generada y distorsión de codificación se mejoran adicionalmente de manera total cuando la CU se divide que cuando la CU no se divide) , se determina que la CU se divide.
En un caso donde se determina que la CU se dividirá en la Etapa S1062, el proceso procede a la Etapa S1063, y el codificador 1000 establece, por ejemplo, 1 el cual es un valor que indica la división de la CU, en cu_split_flag que es un indicador con respecto a la división de la CU, e incluye el indicador en los datos codificados (corriente
codificada) .
Además, en la Etapa S1064, el codificador 1000 divide la CU como bloque objetivo en, por ejemplo, cuatro nuevas CU (2x2) .
Además, en la Etapa S1065, el codificador 1000 realiza de manera secuencial y recursiva un proceso de codificación de la CU como bloque objetivo en las cuatro nuevas CU obtenidas debido a la división en la Etapa S1064.
Por otro lado, en un caso donde se determina no dividir la CU en la Etapa S1062, el proceso procede a la Etapa S1066, y el codificador 1000 establece, por ejemplo, 0 el cual es un valor que indica no realizar la división de la CU, en cu_split_flag, e incluye el indicador en los datos codificados .
Después, en la Etapa S1067, el codificador 1000 realiza un proceso de elección de candidato de fusión para seleccionar un candidato de fusión, y el proceso procede a la Etapa S1068.
En la Etapa S1068, el codificador 1000 calcula los costos de RD de casos respectivos que incluyen casos donde la CU como bloque objetivo se codifica al emplear el modo de fusión y se codifica sin emplear el modo de fusión.
Además, en la Etapa S1068, el codificador 1000 determina si codifica o no la CU como bloque objetivo en el modo de fusión basándose en el costo de RD calculado en la
Etapa S1068.
En la presente, en la Etapa S1068, en un caso donde el costo de RD cuando el bloque objetivo se codifica en el modo de fusión es menor que el costo de RD cuando no se emplea el modo de fusión (en un caso donde una proporción de codificación generada y distorsión de codificación se mejoran adicionalmente de manera total cuando el modo de fusión se emplea que cuando no se emplea el modo de fusión) , se determina realizar la codificación en el modo de fusión.
En un caso donde se determina realizar la codificación en el modo de fusión (para emplear el modo de fusión) en la Etapa S1068, el proceso procede a la Etapa S1069, y el codificador 1000 establece 1 el cual es un valor que indica el empleo del modo de fusión, en merge_flag que es un indicador con respecto al modo de fusión, establece un valor que indica una posición de una región de fusión en merge_idx que indica la región de fusión, e incluye el indicador y la información en los datos codificados.
Además, en la Etapa S1069, el codificador 1000 codifica la CU como bloque objetivo en el modo de fusión (genera una imagen de predicción al utilizar información de movimiento en la región de fusión como información de movimiento en el bloque objetivo, y codifica el bloque objetivo) .
Por otro lado, en un caso donde se determina no
realizar la codificación en el modo de fusión (no emplear el modo de fusión) en la Etapa S1068, el proceso procede a la Etapa S1070, y el codificador 1000 realiza un proceso de codificación de una PU que forma la CU como bloque objetivo.
En la Etapa S1071, el codificador 1000 resta la imagen de predicción obtenida por el proceso de codificación en la PU en la Etapa S1070, a partir de una TU (imagen de entrada) incluida en la PU que forma la CU como bloque objetivo, y genera una imagen de diferencia para la TU.
En la Etapa S1072, el codificador 1000 realiza un proceso de codificación en la TU en la cual la imagen de diferencia se genera en la Etapa S1071.
Además, en la Etapa S1073, el codificador 1000 realiza la transformada ortogonal y cuantificación de la imagen de diferencia para la TU obtenida por el proceso de codificación de la TU, para obtener un coeficiente cuantificado, y realiza la cuantificación inversa y la transformada ortogonal inversa del coeficiente cuantificado obtenido, para descodificar la imagen de diferencia.
Además, en la Etapa S1073, el codificador 1000 agrega la imagen de predicción obtenida por el proceso de codificación de la PU a la imagen de diferencia descodificada en la Etapa S1073, para generar una imagen descodificada para la TU. La imagen descodificada se almacena en la DPB 1014, y después se utiliza como una imagen de referencia (imagen)
cuando es necesario.
Por otro lado, en la descodificación de la CU, en la Etapa S1081, el descodificador 2000 descodifica cu_split_flag de la CU como bloque objetivo a partir de los datos codificados (corriente codificada) .
Además, en la Etapa S1082, el descodificador 2000 determina si un valor de cu_split_flag es o no 1.
En un caso donde se determina que un valor de cu_split_flag es 1 en la Etapa S1082, es decir, en un caso donde la CU como bloque objetivo se divide, el proceso procede a la Etapa S1083, y el descodificador 2000 divide la CU como bloque objetivo en cuatro nuevas CU de la misma manera que en un caso de la Etapa S1064.
Además, en la Etapa S1084, el descodificador 2000 realiza de manera secuencial y recursiva un proceso de descodificación de la CU como bloque objetivo en las cuatro nuevas CU obtenidas por la división en la Etapa S1083.
Por otro lado, en un caso donde se determina que un valor de cu_split_flag no es 1 (es 0) en la Etapa S1082, es decir, en un caso donde la CU como bloque objetivo no se divide, el proceso procede a la Etapa S1085, y el descodificador 2000 determina si un valor de merge_flag es o no 1.
En la Etapa S1085, en un caso donde se determina que un valor de merge_flag es 1, es decir, en un caso donde
la CU como bloque objetivo se codifica en el modo de fusión, el proceso procede a la Etapa S1086, y el descodificador 2000 lee merge_idx a partir de los datos codificados y realiza el mismo proceso de selección de candidato de fusión como en el caso de la Etapa S1067.
Además, en la Etapa S1086, el descodificador 2000 selecciona un candidato de fusión en una posición indicada por merge_idx como región de fusión entre los candidatos de fusión obtenidos debido al proceso de selección de candidato de fusión, y descodifica la CU como bloque objetivo en el modo de fusión al utilizar (sobre la información de movimiento) la región de fusión (genera una imagen de predicción al utilizar la información de movimiento sobre la región de fusión como información de movimiento en el bloque objetivo, y descodifica el bloque objetivo) .
Además, en la Etapa S1085, en un caso donde se determina que un valor de merge_flag no es 1 (es 0) , es decir, en un caso donde la CU como bloque objetivo se codifica sin emplear el modo de fusión, el proceso procede a la Etapa S1087, y el descodificador 2000 realiza un proceso de descodificación en la PU que forma la CU como bloque objetivo, y realiza un proceso de descodificación en la TU incluida en la PU en la Etapa S1088.
Además, en la Etapa S1089, el descodificador 2000 agrega la imagen de predicción obtenida debido al proceso de
descodificación en la PU a una imagen de diferencia la cual se obtiene al realizar cuantificación inversa y la transformada ortogonal inversa en un coeficiente cuantificado que se obtiene debido al proceso de descodificación en la TU, para generar una imagen descodificada para la TU. La imagen descodificada se almacena en la DPB 2008, y después se utiliza como una imagen de referencia (imagen) cuando es necesario .
La Figura 24 es un diagrama de flujo que ilustra la elección (selección) del candidato de fusión en la Etapa S1067 de la Figura 23.
Es decir, la Figura 24 es un diagrama de flujo que ilustra la elección de un candidato de fusión cuando la información disable_bip_small_mrg_idc y la información modify_bip_small_mrg_10 se utilizan.
En la Etapa S1101, entre los bloques periféricos que son bloques que se acercan de manera espacial y temporal al bloque objetivo, el codificador 1000 agrega un bloque de inter-predicción el cual es un bloque sometido a inter-predicción en un candidato de fusión.
Además, en esta etapa, en un caso donde un método de predicción del bloque de inter-predicción es predicción bidireccional, el bloque de inter-predicción se agrega a un candidato de fusión en un estado de la predicción bidireccional .
En la Etapa S1102, el codificador 1000 excluye un bloque de inter-predicción con la información de movimiento solapado de los bloques de inter-predicción que son candidatos de fusión, de los candidatos de fusión.
En la Etapa S1103, el codificador 1000 agrega un bloque de inter-predicción (virtual) con un vector de cero del vector de movimiento a un candidato de fusión.
Después de eso, en la Etapa S1104, el codificador 1000 determina si un tipo de división del bloque objetivo es o no B .
En un caso donde se determina que un tipo de sección de bloque objetivo no es B en la Etapa S1104, es decir, en un caso donde el bloque objetivo no se bi-predice, el proceso de selección de candidato de fusión finaliza. En este caso, se selecciona una región de fusión al utilizar los candidatos de fusión obtenidos en la Etapa S1101 y S1103 sin cambio .
Además, en un caso donde se determina que un tipo de sección de bloque objetivo es B en la Etapa S1104, es decir, en un caso donde el bloque objetivo se bi-predice, el proceso procede a la Etapa S1105, y el codificador 1000 determina si un tamaño del bloque del bloque objetivo corresponde o no a un tamaño de bloque en el cual se cambia un método de predicción, indicado por la información disable bip small mrg idc.
En la Etapa S1105, en un caso donde se determina que un tamaño de bloque del bloque objetivo no corresponde con el tamaño de bloque indicado por la información disable_bip_small_mrg_idc, el proceso de selección de candidato de fusión finaliza. También en este caso, se selecciona una región de fusión al utilizar los candidatos de fusión obtenidos en la Etapa S1101 y S1103 sin cambios.
Además, en la Etapa S1105, en un caso donde se determina que un tamaño de bloque del bloque objetivo corresponde con el tamaño de bloque indicado por la información disable_bip_small_mrg_idc, el proceso procede a la Etapa S1106, y el codificador 1000 determina si la información modify_bip_small_mrg_10 tiene o no un valor de 0.
En la Etapa S1106, en un caso donde se determina que la información modify_bip_small_mrg_10 no tiene un valor de 0, es decir, la información modify_bip_small_mrg_10 tiene un valor de 1, el proceso procede a la Etapa S1107, y el codificador 1000 cambia la predicción bidireccional para un candidato de fusión para el cual una dirección de predicción es la predicción bidireccional en la predicción LO de la predicción unidireccional, y permite que finalice el proceso de selección de candidato de fusión. En este caso, para un candidato de fusión para el cual un método de predicción es predicción bidireccional entre los candidatos de fusión obtenidos en la Etapa S1101 y S1103, la predicción
bidireccional se cambia a la predicción LO, y después, se selecciona una región de fusión entre los candidatos de fusión .
Además, en la Etapa S1106, en un caso donde se determina que la información modify_bip_small_mrg_10 tiene un valor de 0, el proceso procede a la Etapa S1108, y el codificador 1000 cambia la predicción bidireccional para un candidato de fusión para el cual una dirección de predicción es la predicción bidireccional para la predicción Ll de la predicción unidireccional, y permite que finalice el proceso de selección de candidato de fusión. En este caso, para un candidato de fusión para el cual un método de predicción es predicción bidireccional entre los candidatos de fusión obtenidos en la Etapa S1101 y S1103, la predicción bidireccional se cambia a la predicción LO, y después, se selecciona una región de fusión entre los candidatos de fusión .
Información de Restricción
A continuación, la información de restricción establecida por la unidad 1021 de establecimiento se describirá .
Como se describe en la información de identificación, un ancho de banda de memoria máximo (ancho de banda necesario máximo) necesario en la MC es un cuello de
botella para montar el codificador 1000 y el descodificador 2000.
En la presente, en el codificador 1000, la unidad 1021 de establecimiento establece información de restricción, y la unidad 1018 de inter-predicción realiza la predicción (generación de una imagen de predicción) basado en la información de restricción, por lo que permite que el ancho de banda necesario máximo se suprima.
Aquí, la información de restricción es la información para restringir un proceso de codificación de imágenes (descodificación), e incluye, por ejemplo, un modo de restricción RB o un modo de restricción RV descritos a continuación .
De acuerdo con el modo de restricción RB, un tamaño de un bloque de una imagen y un método de predicción aplicado al bloque que tiene el tamaño se restringen, y de acuerdo con el modo de restricción RV, el número de vectores de movimiento (el número de bloques de referencia) utilizados para generar una imagen de predicción en la MC de un bloque de una imagen se restringe.
La Figura 25 es un diagrama que ilustra el modo de restricción RB.
En la Figura 25, por ejemplo, en un caso donde el modo de restricción RB es B4, Bi-4x4, Bi-4x8, Bi-8x4, y Uni-4x4 se prohiben.
Aquí, por ejemplo, Bi-4x4 indica que la predicción bidireccional (Bi) se aplica a una partición de PU que tiene un tamaño de bloque de 4x4.
Además, por ejemplo, Uni-4x4 indica que la predicción unidireccional (Uni) se aplica a una partición de PU que tiene un tamaño de bloque de 4x4.
Por consiguiente, en un caso donde el modo de restricción RB es B4, aplicar la predicción bidireccional y la predicción unidireccional a. una partición de PU que tiene un tamaño de bloque de 4x4 al utilizar Bi-4x4 y Uni-4x4, y además utilizar (inter-predicción) la partición de PU que tiene un tamaño de bloque de 4x4 se restringe.
Además, en un caso donde el modo de restricción RB es B4, aplicar la predicción bidireccional a una partición de PU que tiene un tamaño de bloque de 4x8 al utilizar Bi-4x8 se restringe .
Además, en un caso donde el modo de restricción RB es B4, aplicar la predicción bidireccional a una partición de PU que tiene un tamaño de bloque de 8x4 al utilizar Bi-8x4 se restringe .
En el codificador 1000, la unidad 1021 de establecimiento establece el modo de restricción RB, por ejemplo, basado en un valor máximo de un ancho de banda de memoria de la DPB 1014, y suministra el modo de restricción establecido a la unidad 1018 de inter-predicción y la unidad
1005 de codificación de entropía.
La unidad 1018 de inter-predicción realiza la generación de una imagen de predicción de acuerdo con el modo de restricción RB de la unidad 1021 de establecimiento.
Mientras tanto, la unidad 1005 de codificación de entropía incluye el modo de restricción RB de la unidad 1021 de establecimiento en los datos codificados y transmite el modo de restricción.
En la unidad 1005 de codificación de entropía, el modo de restricción RB puede incluirse, por ejemplo, en una SPS, una PPS, una APS, un encabezado de sección, o similares de los datos codificados (corriente codificada) .
Además, la unidad 1021 de establecimiento establece el modo de restricción RB que tiene un mayor valor B#i como valor máximo de un ancho de banda de memoria de la DPB 1014 que se vuelve menor.
En la presente, el valor B#i del modo de restricción RB que es mayor indica que un número #i es grande .
En la Figura 25, el modo de restricción RB tiene un ancho de banda necesario máximo en disminución en la C en un orden de Bl, B2, y B7.
Aquí, en la Figura 25, en un caso donde el modo de restricción RB es Bl, Bi-4x4 se restringe, y en un caso donde el modo de restricción RB es B2, Bi-4x8 se restringe además
de Bi-4x4. En un caso donde el modo de restricción RB es B3, Bi-8x4 se restringe además para Bi-4x4 y Bi-4x8. Como se describe en lo anterior, en un cierto modo de restricción RB=B#i, nuevo contenido de restricción se agrega al contenido de restricción en el modo de restricción previo B#i-1.
El nuevo contenido de restricción es una combinación de un tamaño de bloque en el cual el consumo en un ancho de banda de memoria es el máximo en ese tiempo y un método de predicción aplicado a una partición de PU que tiene el tamaño de bloque.
Como se describe en lo anterior, en la Figura 25, en un caso donde el modo de restricción RB es Bl, Bi-4x4 se restringe, y en un caso donde el modo de restricción RB es B2, Bi-4x8 se restringe además de Bi-4x4. En un caso donde el modo de restricción RB es B3, Bi-8x4 se restringe además para Bi-4x4 y Bi-4x8.
Por lo tanto, la predicción de Bi-4x4 (predicción para aplicar la predicción bidireccional a una partición de PU que tiene un tamaño de bloque de 4x4) consume el ancho de banda de memoria más grande, y la predicción de Bi-4x8 consume el segundo ancho de banda de memoria más grande. Además, la predicción de Bi-8x4 consume el tercer ancho de banda de memoria más grande.
Aquí, como se describe en lo anterior, la predicción de Bi-4x8, es decir, la predicción de un bloque
verticalmente largo (partición de PU) que tiene ancho x altura de 4x8 consume un mayor ancho de banda de memoria que la predicción de Bi-8x4, es decir, la predicción de un bloque horizontalmente largo que tiene ancho x altura de 8x4, y la razón del mismo se describirá posteriormente.
Como se describe en lo anterior, puesto que el modo de restricción RB tiene un ancho de banda necesario máximo en disminución en la MC en un orden de Bl, B2, y B7, el modo de restricción RB que tiene un valor mayor B#i se establece por la unidad 1021 de establecimiento, y de esta manera es posible suprimir un ancho de banda de memoria cuando una imagen descodificada se lee de la DPB 1014 para generación de una imagen de predicción. Como resultado, es posible evitar un incremento en un costo del codificador 1000.
Además, en un caso donde la unidad 1021 de establecimiento establece el modo de restricción RB que tiene un mayor valor B#i como valor máximo de un ancho de banda de memoria de la DPB 1014 que se vuelve menor de acuerdo con la Figura 25, aplicar la predicción bidireccional o la predicción unidireccional hasta un bloque que tiene un tamaño más grande se restringe como valor máximo de un ancho de banda de memoria de la DPB 1014 que se vuelve menor.
En el descodificador 2000, la unidad 2001 de descodificación de entropía separa el modo de restricción RB de los datos codificados, y suministra el modo de restricción
a la unidad 2010 de inter-predicción.
La unidad 2010 de inter-predicción realiza la generación de una imagen de predicción de acuerdo con el modo de restricción RB.
Es decir, en un caso donde los datos codificados son adecuados para el modo de restricción RB, por ejemplo, en un caso donde Bi-4x4 se restringe en el modo de restricción RB, y Bi-4x4 no se incluye en los datos codificados de acuerdo con el modo de restricción RB, la unidad 2010 de inter-predicción genera, por ejemplo, una imagen de predicción .
Además, en un caso donde los datos codificados no son adecuados para el modo de restricción RB, por ejemplo, en un caso donde Bi-4x4 se restringe en el modo de restricción RB, pero Bi-4x4 se incluye en los datos codificados, por ejemplo, la unidad 2010 de inter-predicción no genera una imagen de predicción y provoca que el descodificador 2000 detenga el proceso.
Además, en el codificador 1000, la unidad 1021 de establecimiento puede establecer el modo de restricción RB en respuesta a la manipulación realizada por un usuario tal como un operador del codificador 1000.
Además, en el codificador 1000, para un ancho de banda de memoria en cada valor, un perfil o un nivel puede definirse como un ancho de banda necesario máximo de acuerdo
con el ancho de banda necesario máximo en cada valor, y el modo de restricción RB puede enlazarse al perfil o el nivel.
En la presente, cuando un nivel se indica por Lv.#i, y el ancho de banda necesario máximo que vuelve menor a medida que un valor #i del nivel se vuelve mayor, el nivel Lv.#i puede enlazarse a, por ejemplo, el modo de restricción RB=B#i .
En este caso, en el codificador 1000, por ejemplo, si el nivel Lv.l se establece, la unidad 1021 de establecimiento establece el modo de restricción RB en Bl que se enlaza al nivel Lv.l.
Además, en el codificador 1000, la codificación se realiza sin utilizar una combinación de un tamaño de bloque y un método de predicción, indicado por el modo de restricción RB, de acuerdo con el modo de restricción RB, y la información sobre el perfil y el nivel se incluye en datos codificados para que se transmitan.
En el descodificador 2000, la información sobre el perfil y el nivel puede descodificarse a partir de los datos codificados, y, por ejemplo, el modo de restricción RB enlazado al nivel puede reconocerse a partir del nivel.
Además, en el codificador 1000, el modo de restricción RB puede incluirse en los datos codificados para que se transmitan, y, en el descodificador 2000, el modo de restricción RB incluido en los datos codificados puede
descodificarse .
El descodificador 2000 puede comprobar si una combinación de un tamaño de bloque y un método de predicción, restringida por el modo de restricción RB, se incluye o no en los datos codificados.
En un caso donde los datos codificados no son adecuados para el modo de restricción RB, es decir, en un caso donde una combinación de un tamaño de bloque y un método de predicción, restringida por el modo de restricción RB, se incluye en los datos codificados, el descodificador 2000 puede informar a un sistema de alto orden del hecho de que los datos codificados no son adecuados para el modo de restricción RB, y el sistema de alto orden puede determinar cómo tratar los datos codificados.
Además, en un caso donde un tamaño de una imagen (trama de imagen) se indica por un perfil o un nivel, el codificador 1000 puede establecer el modo de restricción RB para restringir la aplicación de predicción bidireccional o la predicción unidireccional en un bloque que tiene un tamaño más grande, por ejemplo, a medida que el tamaño de la imagen indicada por el perfil o el nivel se hace más grande.
La Figura 26 es un diagrama de flujo que ilustra un proceso realizado por el codificador 1000 y el descodificador 2000 cuando el modo de restricción RB se utiliza.
En el codificador 1000, en la Etapa S1121, la
unidad 1021 de establecimiento establece el modo de restricción B en un bloque objetivo basado en, por ejemplo, un valor máximo de un ancho de banda de memoria de la DPB 1014, la manipulación de un usuario, un nivel, o similar, y suministra el modo de restricción establecido a la unidad 1018 de inter-predicción y la unidad 1005 de codificación de entropía .
En la Etapa S1122, la unidad 1018 de inter-predicción genera una imagen de predicción mientras restringe un tamaño de bloque de una partición de PU y un método de predicción aplicado a la partición de PU que tiene el tamaño de bloque de acuerdo con el modo de restricción RB de la unidad 1021 de establecimiento.
En la Etapa S1123, la unidad 1002 de cálculo en la unidad 1005 de codificación de entropía codifica el bloque objetivo al utilizar la imagen de predicción generada en la Etapa S1122 cuando es necesario, y genera datos codificados.
En la Etapa S1124, la unidad 1005 de codificación de entropía incluye el modo de restricción RB de la unidad 1021 de establecimiento en los datos codificados y transmite el modo de restricción.
Además, puesto que un perfil y un nivel puede incluirse en los datos codificados, en un caso donde el modo de restricción RB se enlaza al nivel (o perfil) , el modo de restricción RB puede reconocerse a partir de información
sobre el nivel incluido en los datos codificados, y de esta manera el modo de restricción RB no se requiere que se incluya en los datos codificados.
Por consiguiente, en un caso donde el modo de restricción RB se enlaza al nivel, los datos codificados pueden transmitirse sin incluir el modo de restricción RB.
Mientras tanto, en el descodificador 2000, en la Etapa S1131, la unidad 2001 de descodificación de entropía recibe los datos codificados. Además, la unidad 2001 de descodificación de entropía separa el modo de restricción RB de los datos codificados, y suministra el modo de restricción RB a la unidad 2010 de inter-predicción.
Además, en un caso donde el modo de restricción RB se enlaza al nivel, y de esta manera el modo de restricción RB no se incluye en los datos codificados, la unidad 2001 de descodificación de entropía suministra el nivel incluido en los datos codificados a la unidad 2010 de inter-predicción, y la unidad 2010 de inter-predicción reconoce el modo de restricción RB basado en el nivel de la unidad 2001 de descodificación de entropía.
En la Etapa S1132, la unidad 2010 de inter-predicción genera una imagen de predicción de acuerdo con el modo de restricción RB.
Es decir, la unidad 1018 de inter-predicción genera una imagen de predicción mientras comprueba si los datos
codificados son adecuados o no para el modo de restricción RB, es decir, comprueba si una combinación de un tamaño de bloque y una imagen de predicción, restringida por el modo de restricción RB, se incluye o no en los datos codificados.
Además, en un caso donde los datos codificados no son adecuados para el modo de restricción RB, el descodificador 2000 informa a un sistema de alto orden de la esencia del mismo.
Por otro lado, en un caso donde los datos codificados son adecuados para el modo de restricción RB, en la Etapa S1133, la unidad 2001 de descodificación de entropía para la unidad 2004 de cálculo descodifica los datos codificados recibidos en la Etapa S1131 al utilizar la imagen de predicción generada en la Etapa S1132 cuando es necesario.
Las Figuras 27 y 28 son diagramas que ilustran que, incluso en bloques que tienen el mismo tamaño (el número de pixeles), la predicción de un bloque verticalmente largo tal como 4x8 consume un ancho de banda de memoria más grande que la predicción de un bloque horizontalmente largo tal como 8x4.
En un caso donde pixeles de una imagen descodificada (imagen) almacenada en una memoria se leen de la memoria tal como DPB 1014, 64 bits o 128 bits se vuelve una unidad de ancho de bus (ancho de trayectoria de transmisión de datos) .
En un caso donde se forma un pixel por 8 bits, ocho pixeles se leen simultáneamente en paralelo en un ancho de bus de 64 bits, y dieciséis pixeles se leen simultáneamente en paralelo en un ancho de bus de 128 bits.
En montaje general, un bloque rectangular horizontalmente largo se emplea como unidad mínima de grupos de pixeles que se leen simultáneamente desde una memoria, debido a la conveniencia experimental o similares.
Por ejemplo, en la Figura 27, pixeles (valores) se leen para cada bloque que tiene ancho x altura de 4x2 pixeles, partidos por las lineas discontinuas.
Aquí, la unidad minima de grupos de pixeles que se leen simultáneamente de la memoria se denomina como bloque mínimo .
Además, en la Figura 27, el cuadrada (marca de ?) indica un pixel (datos del mismo) almacenado en la memoria, y el circulo (marca de 0) indica una posición de un pixel de una imagen de predicción. En la Figura 27, la imagen de predicción es una imagen que se desvia por 1/2 pixel en cada una de una dirección horizontal y una dirección vertical a partir de un pixel de una imagen (imagen de referencia) almacenada en la memoria.
Además, un bloque B indica un bloque de pixeles de la imagen de predicción, y es un bloque de 8x4 pixeles en la Figura 27.
Un bloque P indica un bloque de pixeles de una imagen de referencia a la cual un filtro de respuesta de impulsos finitos (FIR) como filtro de interpolación se aplica cuando una imagen de predicción se genera a partir de la imagen de referencia, y es un bloque el cual se obtiene al extender el bloque B de la imagen de predicción (en adelante, denominado como bloque de predicción) .
En la Figura 27, el bloque P es un bloque de 15x11 pixeles. En las unidades 1018 y 2010 de inter-predicción, un filtro de interpolación se aplica a los pixeles del bloque P, y de esta manera se genera la imagen de predicción del bloque B.
Un bloque R es un bloque de pixeles que se requiere se lea de la memoria (se leen necesariamente de la memoria) cuando los pixeles del bloque P se leen de la memoria, y es un bloque formado por bloques de mínimo 5x6 de ancho x altura, es decir, un bloque de 20x12 pixeles, en la Figura 27.
Aquí, cuando el número de pixeles del bloque (en adelante, también denominado como bloque de lectura necesaria) R que se requiere se lean de la memoria cuando los pixeles del bloque P se leen de la memoria se denota por NU _R, y el número de pixeles del bloque B de predicción se denota por NUM_B, un ancho de banda de memoria de ancho de banda se expresa, por ejemplo, la Ecuación (1).
bandawidth=NUM_R/NUM_B ... (1)
El número NUM_B de pixeles del bloque B de predicción se expresa por la Ecuación (2) cuando el número de pixeles horizontales y el número de pixeles verticales se denotan respectivamente por B_H y B_V.
NUM_B=B_HxB_V ... (2)
En la Figura 27, B_HxB_V es 8x4 pixeles.
El número NUM_R de pixeles del bloque R de lectura necesaria se expresa por la Ecuación (3) cuando el número de pixeles horizontales y el número de pixeles verticales se denotan respectivamente por R_H y R_V.
NUM_R=R_HxR_V... ( 3 )
Aquí, cuando el número de pixeles horizontales y el número de pixeles verticales del bloque mínimo se denotan respectivamente por Align_H y Align_V, el número R_H de pixeles horizontales y el número R_V de pixeles verticales del bloque R de lectura necesaria se expresan por las Ecuaciones (4) y (5) en el peor de los casos.
R_H=Align_H+Align_Hxceil ( (P_H-1) /Align_H) ... (4) R_V=Align_V+Align_Vxceil ( (P_V-1) /Align_V) ... (5) Además, en las Ecuaciones (4) y (5), ceil (x) indica un número entero mínimo que es igual a o mayor que x. Además, P_H y P_V respectivamente indican el número de pixeles horizontales y el número de pixeles verticales del bloque P al cual se aplica el filtro de interpolación, y se expresan
respectivamente por las Ecuaciones (6) y (7) .
P_H=B_H+Tap_H-l ... (6)
P_V=B_V+Tap_V-l ... (7)
En las Ecuaciones (6) y (7), Tap_H y Tap_V respectivamente indican el número de toques horizontales y el número de toques verticales de un filtro de FIR como el filtro de interpolación.
En un caso donde el bloque mínimo se forma por una pluralidad de pixeles, los pixeles que son innecesarios en la inter-predicción pueden leerse de la memoria, pero los pixeles innecesarios se descartan después de que se leen de la memoria.
En un caso donde el bloque minimo tiene una forma rectangular horizontalmente larga, pixeles más residuales se leen en las partes izquierda y derecha del bloque R de lectura necesaria que se leen de la memoria que en las partes superior e inferior de las mismas.
Como en un bloque verticalmente largo tal como 4x8 y un bloque horizontalmente largo tal como 8x4, el número de pixeles es el mismo, pero, para el bloque B de predicción que tiene una forma diferente, el bloque B de predicción el cual incluye la mayoría de los pixeles que son innecesarios en la inter-predicción en los pixeles que se leen para la generación de una imagen de predicción de la memoria es un bloque que consume el ancho de banda de memoria más grande.
En un caso donde el bloque mínimo tiene una forma rectangular horizontalmente larga, como se muestra en la Figuras 28A y 28B, cuando los pixeles del bloque R de lectura necesaria que incluye el bloque P extendido (un bloque al cual se aplica el filtro de interpolación) del bloque B de predicción se leen, más pixeles que son innecesarios en la inter-predicción (filtración con el filtro de interpolación) se incluyen cuando el bloque B de predicción tiene una forma rectangular verticalmente larga (Figura 28A) que cuando el bloque B de predicción tiene una forma rectangular horizontalmente larga (28B) .
Por esta razón, el bloque B de predicción verticalmente largo tal como 4x8 y el bloque B de predicción horizontalmente largo tal como 8x4 tienen el mismo número de pixeles, pero la predicción del bloque B de predicción verticalmente largo consume un mayor ancho de banda de memoria que la predicción del bloque B de predicción horizontalmente largo.
La Figura 29 es un diagrama que ilustra el modo de restricción RV.
Como se describe en lo anterior, de acuerdo con el modo de restricción RV, el número de vectores de movimiento (el número de bloques de referencia) utilizados para generar una imagen de predicción en la MC (ME) de un bloque de una imagen se restringe.
En la Figura 29, el modo de restricción RV=V#i puede tomar tres valores que incluyen VI, V2, y V3, y el número de vectores de movimiento se restringe dependiendo de una proporción de tramas (Proporción de tramas) y un tamaño de LCU (tamaño de LCU) .
Por ejemplo, en un caso donde una proporción de tramas, la proporción es un valor en un margen expresado por una expresión 0<proporción<=30 , y un tamaño de LCU es de 16x16 pixeles, cuando el modo de restricción RV se establece en el valor VI, el número de vectores de movimiento que puede utilizarse en la MC se restringe a 32.
Aqui, en el modo de restricción RV, en lugar del número de vectores de movimiento, el número de bloques de referencia leído de la DPB 1014 (DPB 2008) puede restringirse .
De acuerdo con la Figura 29, el número de bloques de referencia o un valor máximo del número de vectores de movimiento se restringe por la proporción de tramas y el tamaño de LCU.
Por ejemplo, si la proporción de tramas incrementa, el ancho de banda necesario máximo también incrementa, y de esta manera el número de bloques de referencia o el número de vectores de movimiento se reduce en proporción a la proporción de tramas de acuerdo con la Figura 29.
En el codificador 1000, la unidad 1021 de
establecimiento establece el modo de restricción RV basado en, por ejemplo, un valor máximo de un ancho de banda de memoria de la DPB 1014 así como la proporción de tramas y el tamaño de LCU, y suministra el modo de restricción establecido a la unidad 1018 de inter-predicción y la unidad 1005 de codificación de entropía.
La unidad 1018 de inter-predicción realiza la generación de una imagen de predicción de acuerdo con el modo de restricción RV a partir de la unidad 1021 de establecimiento .
Mientras tanto, la unidad 1005 de codificación de entropía incluye el modo de restricción RV de la unidad 1021 de establecimiento en los datos codificados y transmite el modo de restricción.
En la unidad 1005 de codificación de entropía, el modo de restricción RV puede incluirse, por ejemplo, en una SPS, una PPS, una APS, un encabezado de sección, o similares de los datos codificados.
Además, la unidad 1021 de establecimiento establece el modo de restricción RV que tiene un valor mayor de V#i como valor máximo de un ancho de banda de memoria de la DPB 1014 que se vuelve menor.
Aquí, el valor V#i del modo de restricción RV que es mayor que indica que un número #i es grande.
El modo de restricción RV tiene un ancho de banda
necesario máximo en disminución en la MC en un orden de VI, V2, y V3.
El modo de restricción RV que tiene un valor mayor V#i se establece por la unidad 1021 de establecimiento, y de esta manera es posible suprimir un ancho de banda de memoria cuando una imagen descodificada se lee desde la DPB 1014 para la generación de una imagen de predicción. Como resultado, es posible evitar un incremento en un costo del codificador 1000.
En el descodificador 2000, la unidad 2001 de descodificación de entropía separa el modo de restricción RV de los datos codificados, y suministra el modo de restricción a la unidad 2010 de inter-predicción .
La unidad 2010 de inter-predicción realiza la generación de una imagen de predicción de acuerdo con el modo de restricción RV.
Es decir, en un caso donde los datos codificados son adecuados para el modo de restricción RV, por ejemplo, en un caso donde el número de vectores de movimiento se restringe a dos en el modo de restricción RV, y un bloque para el cual una imagen de predicción se genera al utilizar vectores de movimiento que exceden dos no se incluye en los datos codificados, la unidad 2010 de inter-predicción genera, por ejemplo, una imagen de predicción.
Además, en un caso donde los datos codificados no
son adecuados para el modo de restricción RV, por ejemplo, en un caso donde el número de vectores de movimiento se restringe a dos en el modo de restricción RV, pero un bloque para el cual se genera una imagen de predicción al utilizar los vectores de movimiento que exceden dos se incluyen en los datos codificados, la unidad 2010 de inter-predicción realiza el mismo proceso que en el caso antes descrito en donde los datos codificados no son adecuados para el modo de restricción RB.
Además, en el codificador 1000, la unidad 1021 de establecimiento puede establecer el modo de restricción RV en respuesta a la manipulación realizada por un usuario tal como un operador del codificador 1000.
Además, en el codificador 1000, para un valor máximo de un ancho de banda de memoria de la DPB 1014, un perfil o un nivel puede definirse como un ancho de banda necesario máximo de acuerdo con una cantidad de restricción del ancho de banda necesario máximo y el modo de restricción RV puede enlazarse al perfil o el nivel.
Aquí, cuando el ancho de banda necesario máximo se vuelve menor a medida que un valor #i del nivel se vuelve mayor, el nivel Lv.#i puede enlazarse a, por ejemplo, el modo de restricción RV=V#i.
En este caso, en el codificador 1000, por ejemplo, si el nivel Lv.l se establece, la unidad 1021 de
establecimiento establece el modo de restricción RV en VI el cual se enlaza al nivel Lv.l.
Además, en el codificador 1000, la codificación se realiza al restringir el número de vectores de movimiento en el número (o menos) indicado por el modo de restricción RV, de acuerdo con el modo de restricción RB, y la información (level_idc o similares) en el perfil y el nivel se incluye en los datos codificados para que se transmita.
En el descodificador 2000, la información sobre el perfil y el nivel puede descodificarse a partir de los datos codificados, y, por ejemplo, el modo de restricción RV enlazado al nivel puede reconocerse a partir del nivel.
Además, en el codificador 1000, el modo de restricción RV puede incluirse en los datos codificados para que se transmitan, y, en el descodificador 2000, el modo de restricción RV incluido en los datos codificados puede descodificarse .
En un caso donde los datos codificados no son adecuados para el modo de restricción RV, el descodificador 2000 informa a un sistema de alto orden del hecho de que los datos codificados no son adecuados para el modo de restricción RV. En este caso, el sistema de alto orden determina como tratar los datos codificados.
Además, un tamaño de una imagen (trama de imagen) puede indicarse por un perfil o un nivel. Por ejemplo, en un
caso donde el tamaño de una imagen se indica por el nivel, cuanto más grande es un valor del nivel, más grande es el tamaño de una imagen, el nivel Lv.#i se enlaza al modo de restricción RV=V#i, y, de esta manera, por ejemplo, cuando el tamaño de una imagen indicado por el nivel se vuelve mayor, el codificador 1000 restringe el número de vectores de movimiento a un menor tamaño, reduciendo con esto un ancho de banda de memoria.
En un caso donde el nivel (o el perfil) se enlaza al modo de restricción RV, de la misma manera como en un caso donde el nivel se enlaza al modo de restricción RB, el modo de restricción RV puede reconocerse a partir del nivel, y de esta manera, en el codificador 1000, el modo de restricción RV no puede incluirse en los datos codificados.
Aquí, si un tamaño de LCU incrementa, por ejemplo, puesto que el número de LCU por imagen disminuye, el número de bloques de referencia o MV que puede utilizarse por una sola LCU incrementa cuando el número de LCU disminuye.
Además, si se incrementa un tamaño de imagen, por ejemplo, puesto que el número de LCU con un tamaño de LCU predeterminado incrementa en una sola imagen, el número de bloques de referencia o MV que puede utilizarse por una sola LCU disminuye cuando el número de LCU incrementa.
Además, como se describe en lo anterior, en un caso donde el número de bloques de referencia (o vectores de
movimiento) se reduce en proporción a una proporción de tramas, en la Figura 29, si se utiliza como referencia que el número de bloques de referencia es dos cuando una proporción de tramas es 0<proporción<=30 , un tamaño de LCU es 8x8, y el modo de restricción RV es V3, el número de bloques de referencia se restringe a un (=2x1/2) cuando una proporción de tramas es 30<proporción<=60 , un tamaño de LCU es 8x8, y el modo de restricción RV es V3. El número de bloques de referencia se restringe a 0.5 (=2x1/2x1/2) cuando una proporción de tramas es 0<proporción<=30 , un tamaño de LCU es 8x8, y el modo de restricción RV es V3.
Sin embargo, puesto que un número no entero tal como 0.5 como el número de bloques de referencia no es adecuado, en la Figura 29, el número de bloques de referencia que es 0.5 en el cálculo se redondee a 1 el cual es un valor mínimo de valores tomados como el número de (uno o más) bloques de referencia.
Como se describe en lo anterior, en un caso donde el número de bloques de referencia se redondea, la DPB 1014 del codificador 1000 y la DPB 2008 del descodificador 2000 se requiere que se monten para leer los bloques de referencia del número redondeado.
Además, los modos de restricción RB y RV pueden utilizarse en combinación. Además, la información de identificación y la información de restricción pueden
utilizarse en combinación.
Además, aunque en el modo de restricción RV de la Figura 29, el número de vectores de movimiento o bloques de referencia utilizados en una LCU se restringe dependiendo de un tamaño de LCU, el número de vectores de movimiento o bloques de referencia pueden restringirse dependiendo en un tamaño de una región en una unidad de región tal como una PU, una TU, una SCU, o una imagen, asi como la LCU. Sin embargo, si una región para la cual el número de vectores de movimiento o similares se restringe se establece en una región demasiado ancha, muchos vectores de movimientos se asignan a una parte de la región ancha, y, como resultado, los vectores de movimiento asignados a otras partes pueden restringirse de manera considerable. Además, si una región para la cual el número de vectores de movimiento o similares se restringe se establece a una región demasiado estrecha, el número de vectores de movimiento asignado a la región estrecha originalmente es pequeño y de esta manera un grado de libertad para restringir el número de vectores de movimiento disminuye. Por consiguiente, una región para la cual el número de vectores de movimiento se restringe de preferencia es una región que tiene un tamaño adecuado tal como una LCU, en consideración de los hechos anteriores.
Primer Ejemplo de Sintaxis de Información de
Encabezado que Incluye información de identificación
La Figura 30 es un diagrama que ilustra un primer ejemplo de sintaxis de la información de encabezado de datos codificados, que incluyen información de identificación.
Es decir, la Figura 30 ilustra la sintaxis de información de encabezado seq_parameter_set_rbsp ( ) , y un indicador disable_bip_small_mrg_idc como información de identificación se incluye en la información de encabezado seq_parameter_set_rbsp ( ) .
El indicador disable_bip_small_mrg_idc de la Figura
30 indica un tamaño de un bloque (bloque de predicción) para el cual se prohibe la predicción bidireccional (bi-predicción) .
La Figura 31 es un diagrama que ilustra un valor tomado por el indicador disable_bip_small_mrg_idc como información de identificación de la Figura 30 y un tamaño de un bloque para el cual se prohibe la predicción bidireccional por el indicador disable_bip_small_mrg_idc en cada valor.
En la Figura 31, el indicador disable_bip_small_mrg_idc puede tomar valores que incluyen 0, 1, 2, y 3.
En un caso donde un valor del indicador disable_bip_small_mrg_idc es 0, la predicción bidireccional no se prohibe.
En un caso donde un valor del indicador
disable_bip_small_mrg_idc es 1, la predicción bidireccional se prohibe para un bloque de 4x4 (un bloque que tiene un tamaño de bloque de 4x4) .
En un caso donde un valor del indicador disable_bip_small_mrg_idc es 2, la predicción bidireccional se prohibe para tres tipos de bloques de 4x4, 8x4, y 4x8, y, en un caso donde un valor del indicador disable_bip_small_mrg_idc es 3, la predicción bidireccional se prohibe para cuatro tipos de bloques de 4x4, 8x4, 4x8, y 8x8.
Además, por ejemplo, el indicador disable_bip_small_mrg_idc como información de identificación de la Figura 30 se establece por la unidad 1021 de establecimiento del aparato de procesamiento de imágenes de la Figura 16, se utiliza para la inter-predicción por la unidad 1018 de inter-predicción, y se incluye en los datos codificados por la unidad 1005 de codificación de entropía.
Además, por ejemplo, el indicador disable_bip_small_mrg_idc como información de identificación de la Figura 30 se separa de los datos codificados por la unidad 2001 de descodificación de entropía del aparato de procesamiento de imágenes de la Figura 16 y se utiliza para inter-predicción por la unidad 2010 de inter-predicción.
Segundo Ejemplo de Sintaxis de Información de
Encabezado que Incluye Información de Identificación
Las Figuras 32 y 33 son diagramas que ilustran un segundo ejemplo de sintaxis de información de encabezado de los datos codificados, que incluye información de identificación.
Es decir, la Figura 32 ilustra la sintaxis de información de encabezado seq_parameter_set_rbsp (), y los indicadores disable_inter_4x8_8x4_8x8_bidir_flag y disable_ inter_4x8_8x4_bidir_flag como información de identificación se incluyen en la información de encabezado seq_parameter_set_rbsp ().
En la Figura 32, el indicador disable_inter_4x8_8x4_8x8_bidir_flag como información de identificación indica si la predicción bidireccional puede aplicarse o no a tres tipos de bloques de 4x8, 8x4, y 8x8.
Por ejemplo, en un caso en donde un valor del indicador disable_inter_4x8_8x4_8x8_bidir_flag es 0, la predicción bidireccional no se prohibe para tres tipos de bloques de 4x8, 8x4, y 8x8, y, en un caso en donde un valor del indicador disable_inter_4x8_8x4_8x8_bidir_flag es 1, la predicción bidireccional se prohibe para tres tipos de bloques de 4x8, 8x4 y 8x8.
Además, en la Figura 32, el indicador disable_inter_4x8_8x4_bidir_flag como información de identificación indica si puede aplicarse o no la predicción
bidireccional a dos tipos de bloques de 4x8 y 8x4.
Por ejemplo, en un caso en donde un valor del indicador disable_inter_4x8_8x4_bidir_flag es 0, la predicción bidireccional no se prohibe para dos tipos de bloques de 4x8 y 8x4, y, en un caso en donde un valor del indicador disable_inter_4x8_8x4_bidir_flag es 1, la predicción bidireccional se prohibe para dos tipos de bloques de 4x8 y 8x4.
Por lo tanto, en un caso en donde un valor del indicador disable_inter_4x8_8x4_8x8_bidir_flag es 1, cuando un bloque objetivo es un bloque de 4x8, 8x4, o 8x8, un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se remplaza de manera que la predicción unidireccional se aplica en lugar de la predicción bidireccional, y un proceso en el modo de fusión se realiza en el bloque objetivo.
Además, en un caso en donde un valor del indicador disable_inter_4x8_8x4_bidir_flag es 1, cuando un bloque objetivo es un bloque de 4x8 u 8x4, un método de predicción de un candidato de fusión al cual se aplica la predicción bidireccional se remplaza de manera que una predicción unidireccional se aplica en lugar de la predicción bidireccional, y se realiza un proceso en el modo de fusión en el bloque objetivo.
En la Figura 32, el indicador
disable_inter_4x8_8x4_8x8_bidir_flag se incluye en la información de encabezado seq_parameter_set_rbsp () en un caso en donde un valor de un indicador log2_min_coding_block_size_minus3 es igual a o menor que 1. Además, el indicador disable_inter_4x8_8x4_bidir_flag se incluye en la información de encabezado seq_parameter_set_rbsp () en un caso en donde un valor del indicador log2_min_coding_block_size_minus3 es 0 y un valor del indicador disable_inter_4x8_8x4_8x8_bidir_flag es 0.
Aquí, el indicador log2_min_coding_block_size_minus3 indica un tamaño mínimo de una CU (bloque de codificación) .
En un caso en donde un tamaño mínimo de una CU indicada por el indicador log2_min_coding_block_size_minus3 es un tamaño (32x32 ó 64x64) más grande que 16x16, a medida que una PU la cual es un bloque objetivo, un bloque que tiene un tamaño de 16x16 (o un tamaño más grande) se utiliza, y un bloque que tiene un tamaño de 8x8 (o un tamaño más pequeño) no se utiliza.
Por lo tanto, en un caso en donde un tamaño mínimo de una CU indicada por el indicador log2_min_coding_block_size_minus3 es un tamaño más grande que 16x16, los indicadores disable_inter_4x8_8x4_8x8_bidir_flag y disable_inter_4x8_8x4_bidir_flag como información de identificación no tienen ningún significado, y de esta manera
la unidad 2001 de descodificación de entropía (Figura 16) no lee (pasa por alto) los indicadores, incluso si los indicadores se incluyen en los datos codificados.
Además, en un caso en donde la indicador disable_inter_4x8_8x4_8x8_bidir_flag no se incluye en la información de encabezado seq_parameter_set_rbsp (), un valor del indicador disable_inter_4x8_8x4_8x8_bidir_flag se estima en 0.
Además, en un caso en donde el indicador disable_inter_4x8_8x4_bidir_flag no se incluye en la información de encabezado seq_parameter_set_rbsp (), si un valor del indicador disable_inter_4x8_8x4_8x8_bidir_flag es 0, un valor del indicador disable_inter_4x8_8x4_bidir_flag también se estima que es 0, y si un valor del indicador disable_inter_4x8_8x4_8x8_bidir_flag es 1, un valor del indicador disable_inter_4x8_8x4_bidir_flag, también se estima que es 1.
La Figura 33 ilustra la sintaxis de la información de encabezado prediction_unit (xO, yO, log2CbSize) , y un indicador disable_bidir como información de identificación se incluye en la información de encabezado prediction_unit ( O, yO, log2CbSize) .
El indicador disable_bidir como información de identificación se establece en un valor de 0 ó 1, dependiendo de los indicadores disable inter 4x8 8x4 8x8 bidir flag y
disable_inter_4x8_8x4_bidir_flag como información de identificación de la Figura 32.
En un caso en donde un valor del indicador disable_bidir es 0, la predicción bidireccional no se prohibe, y, en un caso en donde un valor del indicador disable_bidir es 1, la predicción bidireccional se prohibe.
En la Figura 33, un indicador inter_pred_flag [xO] [yO] el cual se describe después, el indicador disable_bidir indica si un método de predicción de un bloque en una posición indicada por xO y yO es la predicción unidireccional o la predicción bidireccional, pero en un caso en donde un valor del indicador disable_bidir es 1, y la predicción bidireccional se prohibe, la unidad 2001 de descodificación de entropía (Figura 16) no lee el indicador inter_pred_flag [xO] [yO] de los datos codificados, y un método de predicción del bloque en la posición indicada por xO y yO se interpreta como predicción unidireccional.
Además, por ejemplo, los indicadores disable_inter_4x8_8x4_8x8_bidir_flag y disable_inter_4x8_8x4_bidir_flag como información de identificación de la Figura 32, y el indicador disable_bidir como información de identificación de la Figura 33 se establecen por la unidad 1021 de establecimiento del aparato de procesamiento de imágenes de la Figura 16 para que se utilice para la inter-predicción por la unidad 1018 de ínter-
predicción y se incluya en los datos codificados por la unidad 1005 de codificación de entropía.
Además, por ejemplo, los indicadores disable_inter_4x8_8x4_8x8_bidir_flag y disable_inter_4x8_8x4_bidir_flag como información de identificación de la Figura 32, y el indicador disable_bidir como información de identificación de la Figura 33 se separan de los datos codificados por la unidad 2001 de descodificación de entropía del aparato de procesamiento de imágenes de la Figura 16 para que se utilice para inter-predicción por la unidad 2010 de inter-predicción .
Aquí, los indicadores disable_inter_4x8_8x4_8x8_bidir_flag y disable_inter_4x8_8x4_bidir_flag como información de identificación de la Figura 32, y el indicador disable_bidir como información de identificación de la Figura 33 también pueden aplicarse a un caso para realizar la inter-predicción en los modos distintos a los modos de fusión en casos distintos a un caso para realizar el modo de fusión.
Además, la información que indica si la predicción bidireccional puede aplicarse o no a un bloque de 4x4 entre los bloques que tienen un tamaño igual o menor que 8x8 no se incluye en los indicadores disable_inter_4x8_8x4_8x8_bidir_flag y disable ínter 4x8 8x4 bidir flag como información de
identificación incluida en la información de encabezado seq_parameter_set_rbsp () de la Figura 32. Esto es debido a que un indicador inter_4x4_enabled_flag se presente en la información de encabezado seq_parameter_set_rbsp () en el tiempo presente.
Es decir, en el tiempo presente, el indicador inter_4x4_enabled_flag que indica si un bloque de 4x4 se utiliza o no se define en la información de encabezado seq_parameter_set_rbsp () mostrada en la Figura 30, y el tratamiento del bloque de 4x4 sigue el indicador inter_4x4_enabled_flag. Por lo tanto, en la Figura 32, un indicador que indica si la predicción bidireccional puede aplicarse o no al bloque de 4x4 no se define.
De esta manera, por ejemplo, en un caso en donde el indicador inter_4x4_enabled_flag se borra en el futuro, un indicador que indica si la predicción bidireccional puede aplicarse o no a un bloque de 4x4 o un bloque que tiene un tamaño de bloque de 4x4 o un tamaño de bloque más grande puede definirse e incluirse en la información de encabezado seq_parameter_set_rbsp () de la Figura 32 en lugar de los indicadores disable_inter_4x8_8x4_8x8_bidir_flag y disable_inter_4x8_8x4_bidir_flag (o junto con los indicadores disable_inter_4x8_8x4_8x8_bidir_flag y disable_inter_4x8_8x4_bidir_flag) que no incluyen información sobre el bloque de 4x4.
Además, la presente tecnología puede aplicarse a un dispositivo de codificación de imágenes y a un dispositivo de descodificación de imágenes que se utilizan cuando la información de imágenes (corriente de bits) que se ha comprimido a través de la transformada ortogonal tal como transistor de coseno discreto y compensación de movimiento, tal como, por ejemplo, MPEG o H.26x, se reciben mediante un medio de red, tal como la radiodifusión satelital, una televisión por cable, la Internet o un teléfono móvil. Además, la presente tecnología puede aplicarse a un dispositivo de codificación de imágenes y un dispositivo de descodificación de imágenes que se utilizan cuando se realiza un proceso sobre medios de almacenamiento tales como un disco óptico, un disco magnético, y una memoria flash. Además, la presente tecnología también puede aplicarse a un dispositivo de compensación de predicción de movimiento incluido en el dispositivo de codificación de imágenes y el dispositivo de descodificación de imágenes.
Computadora Personal
La serie de procesos descritos en lo anterior puede realizarse por hardware o software. Cuando la serie de procesos se realiza por el software, los programas que constituyen el software se instalan en una computadora. Aquí, la computadora incluye una computadora incorporada en el
hardware dedicado, o una computadora personal de propósito general o similar, que puede ejecutar varios tipos de funciones al instalar varios tipos de programas.
En la Figura 34, una CPU 501 (Unidad de Procesamiento Central) de la computadora 500 personal realiza varios procesos de acuerdo con un programa almacenado en una memoria de sólo lectura 502 (ROM) o un programa el cual se carga en una memoria de acceso aleatorio 503 (RAM) de una unidad 513 de almacenamiento. La RAM 503 almacena de manera adecuada los datos o similares, que son necesarios para que la CPU 501 ejecute varios procesos.
La CPU 501, la ROM 502, y la RAM 503 se conectan entre si mediante un bus 504. Además, una interfaz 510 de entrada y de salida también se conecta al bus 504.
La interfaz 510 de entrada y de salida se conecta a una unidad 511 de entrada que incluye un teclado, un ratón, y similares, una unidad 512 de salida que incluye una pantalla tal como un tubo de rayos catódicos (CRT) o una pantalla de cristal liquido (LCD) , un altavoz, y similares, una unidad 513 de almacenamiento que incluye un disco duro o similares, y una unidad 514 de comunicación que incluye un módem o similares. La unidad 514 de comunicación realiza un proceso de comunicación mediante una red, que incluye Internet.
Una unidad 515 se conecta a la interfaz 510 de entrada y salida, cuando sea necesario, un medio 521
removible tal como un disco magnético, un disco óptico, un disco magneto-óptico, o una memoria de semiconductor se monta en la misma, cuando es adecuado, y un programa de computadora leído de la misma se instala en la unidad 513 de almacenamiento cuando sea necesario.
En un caso en donde la serie de procesos descritos en lo anterior se ejecuta en el software, un programa que constituye el software se instala desde una red o un medio de grabación .
El medio de grabación incluye, por ejemplo, como se muestra en la Figura 34, no sólo el medio 521 removible tal como un disco magnético (incluyendo un disco flexible) , un disco óptico (incluyendo una memoria de sólo lectura-disco compacto (CD-ROM) y un disco versátil digital (DVD) ) , un disco magneto-óptico (incluyendo un mini disco ( D) ) , o una memoria de semiconductor, la cual se distribuye para distribuir un programa a un usuario por separado de un cuerpo del dispositivo y graba el programa en el mismo, aunque también la ROM 502 la cual se envía a un usuario en un estado que se incorpora en un cuerpo del dispositivo con anticipación y registra un programa en el mismo, o un disco duro incluido en la unidad 513 de almacenamiento.
Además, el programa ejecutado por la computadora puede ser un programa que realiza procesos en una serie de tiempo de acuerdo con el orden descrito en la presente
especificación, y puede ser un programa que realiza procesos en paralelo o en un tiempo necesaria, tal como cuando se accede .
Además, en la presente especificación, las etapas para describir programas grabados en un medio de grabación incluyen no sólo procesos realizados en una serie de tiempo de acuerdo con el orden descrito, sino también procesos realizados en paralelo o por separado, incluso si no se realizan necesariamente en la serie de tiempo.
Además, en la presente especificación, el sistema se refiere a todo el aparato incluyendo una pluralidad de dispositivos .
Además, en la descripción anterior, una configuración descrita como un solo dispositivo (o una unidad de procesamiento) puede dividirse en y formarse por una pluralidad de dispositivos (o unidades de procesamiento) todos juntos. En contraste, en la descripción anterior, las configuraciones descritas como una pluralidad de dispositivos (o unidades de procesamiento) pueden formarse por un solo dispositivo (o unidad de procesamiento) . Además, las configuraciones distintas a aquellas descritas en lo anterior pueden agregarse a la configuración de cada dispositivo (o cada unidad de procesamiento) . Además, una parte de la configuración de un dispositivo (o una unidad de procesamiento) puede incluirse en la configuración de otro
110
dispositivo (u otra unidad de procesamiento) , siempre y cuando la configuración y operaciones del sistema en general sean sustancialmente las mismas. Es decir, la presente tecnología no se limita a las modalidades descritas en lo anterior, sino que puede tener varias modificaciones sin apartarse del alcance de la presente tecnología.
El aparato de procesamiento de imágenes de acuerdo con la modalidad descrita en lo anterior puede aplicarse a varios aparatos electrónicos tales como un transmisor o un receptor con la distribución y la difusión satelital, la difusión por cable, tal como TV por cable, e Internet, y la distribución a una terminal por comunicación celular, un aparato de grabación que graba imágenes en medios, tales como un disco óptico, un disco magnético, y una memoria flash, y un aparato de reproducción que reproduce imágenes de los medios de almacenamiento. En adelante, se describirán cuatro ejemplos de aplicación.
Primer ejemplo de aplicación: Receptor de Televisión
La Figura 35 ilustra un ejemplo de una configuración esquemática de un aparato de televisión al cual se aplica la modalidad descrita en lo anterior. El aparato 900 de televisión incluye una antena 901, un sintonizador 902, un desmultiplexor 903, un descodificador 904, una unidad
905 de procesamiento de señales de video, una unidad 906 de visualización, una unidad 907 de procesamiento de señales de audio, un altavoz 908, una interfaz 909 externa, una unidad 910 de control, una interfaz 911 de usuario, y un bus 912.
El sintonizador 902 extrae una señal de un canal deseado de una señal de difusión la cual se recibe mediante la antena 901 y desmodula la señal extraída. Además, el sintonizador 902 produce una corriente codificada que se obtiene a través de la desmodulación, al desmultiplexor 903. Es decir, el sintonizador 902 funciona como medio de transmisión en el aparato 900 de televisión, para recibir la corriente codificada en donde se codifica una imagen.
El desmultiplexor 903 desmultiplexa una corriente de imagen (video) y una corriente de audio de un programa objetivo de visualización de la corriente codificada, y produce las corrientes separadas en el descodificador 904. Además, el desmultiplexor 903 extrae datos auxiliares, tales como una guía de programación electrónica (EPG) de la corriente codificada, y suministra los datos extraídos a la unidad 910 de control. Además, el desmultiplexor 903 puede realizar aleatorización cuando se aleatoriza la corriente codificada .
El descodificador 904 descodifica la corriente de imágenes y la corriente de audio las cuales se ingresan desde el desmultiplexor 903. Además, el descodificador 904 produce
los datos de imágenes que se generan debido al proceso de descodificación, en la unidad 905 de procesamiento de señales de video. Además, el descodificador 904 produce los datos de audio que se generan debido al proceso de descodificación, en la unidad 907 de procesamiento de señales de audio.
La unidad 905 de procesamiento de señales de video reproduce los datos de imágenes ingresados desde el descodificador 904 de manera que una imagen se despliega en la unidad 906 de visualización . Además, la unidad 905 de procesamiento de señales de video puede desplegar una pantalla de aplicación la cual se suministra mediante una red, en la unidad 906 de visualización.
Además, la unidad 905 de procesamiento de señales de video puede realizar un proceso adicional, tal como, por ejemplo, eliminación de ruido, en los datos de imágenes, de acuerdo con ajustes de los mismos. Además, la unidad 905 de procesamiento de señales de video puede generar una interfaz de usuario gráfica (GUI) de la imagen, tales como, por ejemplo, un menú, un botón, o un cursor, y puede superponer la imagen generada en la imagen producida.
La unidad 906 de visualización se impulsa por una señal de excitación la cual se suministra desde la unidad 905 de procesamiento de señales de video, y despliega una imagen en una pantalla de un dispositivo de visualización (por ejemplo, una pantalla de cristal liquido, una pantalla de
plasma, o una pantalla de electroluminiscencia orgánica (OLED) ) .
La unidad 907 de procesamiento de señales de audio realiza los procesos de reproducción tales como conversión D/A y amplificación en los datos de audio que se ingresan desde el descodificador 904, para permitir que el sonido se reproduzca desde el altavoz 908. Además, la unidad 907 de procesamiento de señales de audio puede realizar un proceso adicional, tal como eliminación de ruido en los datos de audio .
La interfaz 909 externa es una interfaz que conecta el aparato 900 de televisión a un aparato externo o la red. Por ejemplo, una corriente de imágenes o una corriente de audio que se recibe mediante la interfaz 909 externa pueden descodificarse por el descodificador 904. Es decir, la interfaz 909 externa también funciona como medio de transmisión en el aparato 900 de televisión, para recibir una corriente codificada en la cual se codifica una imagen.
La unidad 910 de control incluye un procesador, tal como una CPU, y memorias tales como una RAM y una ROM. Las memorias almacenan un programa ejecutado por la CPU, datos de programa, datos de EPG, datos adquiridos mediante la red, y similares. El programa almacenado en la memoria se lee y ejecuta por la CPU, por ejemplo, cuando se inicia el aparato 900 de televisión. La CPU ejecuta el programa, y de esta
manera controla una operación del aparato 900 de televisión en respuesta a, por ejemplo, una señal de manipulación la cual se ingresa desde la interfaz 911 de usuario.
La interfaz 911 de usuario se conecta a la unidad 910 de control. La interfaz 911 de usuario incluye, por ejemplo, botones y conmutadores para que un usuario manipule el aparato 900 de televisión, una unidad de recepción de una señal de control remoto, y similares. La interfaz 911 de usuario genera una señal de manipulación al detectar la manipulación realizada por un usuario a través de estos elementos constituyentes, y produce la señal de manipulación generada en la unidad 910 de control.
El bus 912 conecta el sintonizador 902, el desmultiplexor 903, el descodificador 904, la unidad 905 de procesamiento de señales de video, la unidad 907 de procesamiento de señales de audio, la interfaz 909 externa, y la unidad 910 de control, entre si.
En el aparato 900 de televisión configurado como se describe en lo anterior, el descodificador 904 tiene una función del descodificador 2000 de acuerdo con la modalidad descrita en lo anterior.
Segundo ejemplo de aplicación: Teléfono móvil
La Figura 36 ilustra un ejemplo de una configuración esquemática de un teléfono móvil al cual se
aplica la modalidad descrita en lo anterior. El teléfono 920 móvil incluye una antena 921, una unidad 922 de comunicación, un codee 923 de audio, un altavoz 924, un micrófono 925, una unidad 926 de cámara, una unidad 927 de procesamiento de imágenes, una unidad 928 de multiplexión y desmultiplexión, una unidad 929 de grabación y reproducción, una unidad 930 de visualización, una unidad 931 de control, una unidad 932 de manipulación, y un bus 933.
La antena 921 se conecta a la unidad 922 de comunicación. El altavoz 924 y el micrófono 925 se conectan al codee 923 de audio. La unidad 932 de manipulación se conecta a la unidad 931 de control. El bus 933 conecta la unidad 922 de comunicación, el códec 923 de audio, la unidad 926 de cámara, la unidad 927 de procesamiento de imágenes, la unidad 928 de multiplexión y desmultiplexión, la unidad 929 de grabación y reproducción, la unidad 930 de visualización, y la unidad 931 de control entre si.
El teléfono 920 móvil realiza operaciones tales como la transmisión y recepción de señales de audio, transmisión y recepción de correo electrónico o datos de imágenes, captura de una imagen, y grabación de datos en varios modos de operación que incluyen un modo de conversación, un modo de comunicación de datos, un modo de fotografía, y un modo de videoteléfono.
En el modo de conversación, una señal de audio
analógica generada por el micrófono 925 se suministra al códec 923 de audio. El códec 923 de audio convierte la señal de audio analógica en datos de audio, y comprime los datos de audio convertidos a través de la conversión A/D. Además, el códec 923 de audio produce los datos de audio comprimidos en la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de audio para generar una señal de transmisión. Además, la unidad 922 de comunicación transmite la señal de transmisión generada a una estación base (no mostrada) mediante la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica la cual se recibe mediante la antena 921 y convierte una frecuencia de las mismas, para adquirir una señal recibida. Además, la unidad 922 de comunicación desmodula y descodifica la señal recibida para generar datos de audio, y produce los datos de audio generados en el códec 923 de audio. El códec 923 de audio descomprime y convierte D/A los datos de audio para generar una señal de audio análoga. Además, el códec 923 de audio suministra la señal de audio generada al altavoz 924 para producir un sonido.
Además, en el modo de comunicación de datos, por ejemplo, la unidad 931 de control genera datos de texto que forman un correo electrónico en respuesta a la manipulación realizada por un usuario que utiliza la unidad 932 de manipulación. Además, la unidad 931 de control despliega el
texto en la unidad 930 de visualizació . Además, la unidad 931 de control genera datos de correo electrónico en respuesta a una instrucción de transmisión realizada por el usuario al utilizar la unidad 932 de manipulación, y produce los datos de correo electrónico generados en la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula los datos de correo electrónico para generar una señal de transmisión. Además, la unidad 922 de comunicación transmite la señal de transmisión generada a la estación base (no mostrada) mediante la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica la cual se recibe mediante la antena 921 y convierte una frecuencia de la misma para adquirir una señal recibida. Además, la unidad 922 de comunicación desmodula y descodifica la señal recibida para recuperar los datos de correo electrónico, y produce los datos de correo electrónico recuperados en la unidad 931 de control. La unidad 931 de control despliega el contenido del correo electrónico en la unidad 930 de visualización y almacena los datos de correo electrónico en un medio de grabación de la unidad 929 de grabación y reproducción.
La unidad 929 de grabación y reproducción incluye un medio de almacenamiento legible y grabable arbitrario. Por ejemplo, el medio de almacenamiento puede ser un medio de almacenamiento integrado tal como una RAM o una memoria flash, y puede ser un medio de almacenamiento externamente
conectado, tal como un disco duro, un disco magnético, un disco magneto-óptico, un disco óptico, una memoria de mapa de bits de espacio no asignado (USB), o una tarjeta de memoria.
Además, en el modo de fotografía, por ejemplo, la unidad 926 de cámara forma una imagen de un sujeto para generar datos de imágenes, y produce los datos de imágenes generados en la unidad 927 de procesamiento de imágenes. La unidad 927 de procesamiento de imágenes codifica los datos de imágenes que se ingresan desde la unidad 926 de cámara, y almacena la corriente codificada en el medio de almacenamiento de la unidad 929 de grabación y reproducción.
Además, en el modo de videoteléfono, por ejemplo, la unidad 928 de multiplexion y desmultiplexion multiplexa la corriente de imágenes que ha sido codificada por la unidad 927 de procesamiento de imágenes y la corriente de audio que se ingresa desde el códec 923 de audio, y produce la corriente multiplexada en la unidad 922 de comunicación. La unidad 922 de comunicación codifica y modula la corriente para generar una señal de transmisión. Además, la unidad 922 de comunicación transmite la señal de transmisión generada a la estación base (no mostrada) mediante la antena 921. Además, la unidad 922 de comunicación amplifica una señal inalámbrica la cual se recibe mediante la antena 921 y convierte una frecuencia de la misma para adquirir una señal recibida. Una* corriente codificada puede incluirse en la
señal de transmisión y la señal recibida. Además, la unidad 922 de comunicación desmodula y descodifica la señal recibida para recuperar una corriente, y produce la corriente recuperada en la unidad 928 de multiplexión y desmultiplexion. La unidad 928 de multiplexión y desmultiplexion desmultiplexa una corriente de imágenes y una corriente de audio de la corriente de entrada, y produce la corriente de video en la unidad 927 de procesamiento de imágenes y la corriente de audio en el codee 923 de audio. La unidad 927 de procesamiento de imágenes descodifica la corriente de imágenes para generar datos de imágenes. Los datos de imágenes se suministran a la unidad 930 de visualización para permitir que una serie de imágenes se desplieguen en la unidad 930 de visualización. El códec 923 de audio descomprime y convierte D/A la corriente de audio para generar una señal de audio análoga. Además, el códec 923 de audio suministra la señal de audio generada al altavoz 924 para que se produzca un sonido.
En el teléfono 920 móvil con la configuración anterior, la unidad 927 de procesamiento de imágenes tiene funciones del codificador 1000 y el descodificador 2000 de acuerdo con la modalidad descrita en lo anterior.
Tercer Ejemplo de Aplicación: Aparato de Grabación y Reproducción
La Figura 37 ilustra un ejemplo de una configuración esquemática de un aparato de grabación y reproducción al cual se aplica la modalidad descrita en lo anterior. El aparato 940 de grabación y reproducción codifica, por ejemplo, datos de audio y datos de imágenes de un programa de difusión recibido y graba los datos codificados en un medio de grabación. Además, el aparato 940 de grabación y reproducción puede codificar, por ejemplo, datos de audio y datos de imágenes los cuales se adquieren a partir de otros aparatos, y pueden grabar los datos codificados en el medio de grabación. Además, el aparato 940 de grabación y reproducción reproduce los datos grabados en el medio de grabación en un monitor y un altavoz, por ejemplo, en respuesta a una instrucción de un usuario. En ese momento, el aparato 940 de grabación y reproducción descodifica los datos de audio y los datos de imágenes.
El aparato 940 de grabación y reproducción incluye un sintonizador 941, una interfaz 942 externa, un codificador 943, una unidad 944 de disco duro (HDD) , una unidad 945 de disco, un selector 946, un descodificador 947, una visualización 948 en pantalla (OSD) , una unidad 949 de control, y una interfaz 950 de usuario.
El sintonizador 941 extrae una señal de un canal deseado a partir de una señal de difusión la cual se recibe mediante una antena (no mostrada) y desmodula la señal
extraída. Además, el sintonizador 941 produce una corriente codificada la cual se obtiene mediante la desmodulación, al selector 946. Es decir, el sintonizador 941 funciona como medio de transmisión en el aparato 940 de grabación y reproducción .
La interfaz 942 externa es una interfaz la cual conecta el aparato 940 de grabación y reproducción a un aparato externo o una red. La interfaz 942 externa puede ser, por ejemplo, una interfaz IEEE1394, una interfaz de red, una interfaz USB, una interfaz de memoria flash, o similares. Por ejemplo, los datos de imágenes y datos de audio los cuales se reciben mediante la interfaz 942 externa se ingresan al codificador 943. Es decir, la interfaz 942 externa funciona como medio de transmisión en el aparato 940 de grabación y reproducción .
El codificador 943 codifica los datos de imágenes y los datos de audio en un caso en donde los datos de imágenes y los datos de audio que ingresan desde la interfaz 942 externa no se codifican. Además, el codificador 943 produce la corriente codificada en el selector 946.
La HDD 944 graba una corriente codificada en cuyos datos de contenido como una imagen y un sonido se comprimen, diversos programas, y otros datos en un disco duro interno. Además, la HDD 944 lee los datos desde el disco duro cuando la imagen y el sonido se reproducen.
La unidad 945 de disco graba y lee los datos en y desde un medio de grabación el cual se monta en el mismo. El medio de grabación montado en la unidad 945 de disco puede ser, por ejemplo, un disco DVD (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, o similares), un disco Blu-ray (marca registrada), o similares.
Cuando se graban una imagen y un sonido, el selector 946 selecciona una corriente codificada la cual se ingresa desde el sintonizador 941 o el codificador 943, y produce la corriente codificada seleccionada en la HDD 944 o a la unidad 945 de disco. Además, cuando una imagen y un sonido se reproducen, el selector 946 produce la corriente codificada la cual se ingresa desde el HDD 944 o la unidad 945 de disco, al descodificador 947.
El descodificador 947 descodifica la corriente codificada para generar datos de imágenes y datos de audio. Además, el descodificador 947 produce los datos de imágenes generados en la OSD 948. Además, el descodificador 904 produce los datos de audio generados en un altavoz externo.
La OSD 948 reproduce los datos de imágenes los cuales se ingresan desde el descodificador 947 de manera que se muestra una imagen. Además, la OSD 948 puede superponer una imagen GUI, tal como, por ejemplo, un menú, un botón, o un cursor en la imagen desplegada.
La unidad 949 de control incluye un procesador, tal
como una CPU, y memorias tales como una RAM y una ROM. Las memorias almacenan un programa ejecutado por la CPU, los datos del programa, y similares. El programa almacenado en la memoria es leído y ejecutado por la CPU, por ejemplo, cuando se inicia el aparato 940 de grabación y reproducción. La CPU ejecuta el programa, y de este modo controla una operación del aparato 940 de grabación y reproducción en respuesta a, por ejemplo, una señal de manipulación la cual se ingresa desde la interfaz 950 de usuario.
La interfaz 950 de usuario se conecta a la unidad 949 de control. La interfaz 950 de usuario incluye, por ejemplo, botones y conmutadores, los cuales permiten a un usuario manipular y grabar los aparatos 940 de reproducción, una unidad de recepción de una señal de control remoto, y similares. La interfaz 950 de usuario genera una señal de manipulación al detectar la manipulación realizada por un usuario mediante estos elementos componentes, y produce la señal de manipulación generada en la unidad 949 de control.
En el aparato 940 de grabación y reproducción con la configuración anterior, el codificador 943 tiene una función del codificador 1000 de acuerdo con la modalidad descrita en lo anterior. Además, el descodificador 947 tiene una función del descodificador 2000 de acuerdo con la modalidad descrita en lo anterior.
Cuarto Ejemplo de Aplicación: Aparato de Captura de
Imágenes
La Figura 38 ilustra un ejemplo de una configuración esquemática de un aparato de captura de imágenes a la cual se aplica en la modalidad descrita en lo anterior. El aparato 960 de captura de imágenes captura una imagen de un sujeto para generar una imagen, y codifica los datos de imágenes para grabar los datos codificados en un medio de grabación.
El aparato 960 de captura de imágenes incluye un bloque 961 óptico, una unidad 962 de captura de imágenes, una unidad 963 de procesamiento de señales, una unidad 964 de procesamiento de imágenes, una unidad 965 de visualización, una interfaz 966 externa, una memoria 967, una unidad 968 de medio, una OSD 969, una unidad 970 de control, una interfaz 971 de usuario, y un bus 972.
El bloque 961 óptico se conecta a la unidad 962 de captura de imágenes. La unidad 962 de captura de imágenes se conecta a la unidad 963 de procesamiento de señales. La unidad 965 de visualización se conecta a la unidad 964 de procesamiento de imágenes. La interfaz 971 de usuario se conecta a la unidad 970 de control. El bus 972 conecta la unidad 964 de procesamiento de imágenes, la interfaz 966 externa, la memoria 967, la unidad 968 de medio, la OSD 969, y la unidad 970 de control entre sí.
El bloque 961 óptico incluye una lente de enfoque, un mecanismo de diafragma, y similares. El bloque 961 óptico forma una imagen óptica de un objeto en una superficie de captura de imágenes de la unidad 962 de captura de imágenes. La unidad 962 de captura de imágenes incluye un sensor de imagen el cual como un dispositivo acoplado de carga (CCD) o un semiconductor de óxido metálico complementario (CMOS) , y convierte la imagen óptica formada en la superficie de captura de imágenes en una señal de imagen como una señal eléctrica mediante la conversión fotoeléctrica. Además, la unidad 962 de captura de imágenes produce la señal de imagen en la unidad 963 de procesamiento de señales.
La unidad 963 de procesamiento de señales realiza varios procesos de señal de cámara tales como la corrección knee, corrección de gamma, y corrección de color en la señal de imagen la cual se ingresa desde la unidad 962 de captura de imágenes. La unidad 963 de procesamiento de señales produce los datos de imágenes después de haber sido sometidos a los procesos de señal de cámara a la unidad 964 de procesamiento de imágenes.
La unidad 964 de procesamiento de imágenes codifica los datos de imágenes los cuales se ingresan desde la unidad 963 de procesamiento de señales para generar los datos codificados. Además, la unidad 964 de procesamiento de imágenes produce los datos codificados generados a la
interfaz 966 externa o a la unidad 968 de medios. Además, la unidad 964 de procesamiento de imágenes descodifica los datos codificados los cuales se ingresan desde la interfaz 966 externa o la unidad 968 de medios, por lo que generan los datos de imágenes. Además, la unidad 964 de procesamiento de imágenes produce los datos de imágenes generados en la unidad 965 de visualización . Además, la unidad 964 de procesamiento de imágenes puede producir los datos de imágenes los cuales se ingresan desde la unidad 963 de procesamiento de señales, a la unidad 965 de visualización, de manera que se muestra una imagen. Además, la unidad 964 de procesamiento de imágenes puede superponer datos de visualización los cuales se adquieren desde la OSD 969, en una imagen la cual se produce en la unidad 965 de visualización.
La OSD 969 genera una imagen GUI, tal como, por ejemplo, un menú, un botón, o un cursor, y produce la imagen generada en la unidad 964 de procesamiento de imágenes.
La interfaz 966 externa se forma por, por ejemplo, una terminal de entrada y salida de USB. La interfaz 966 externa conecta el aparato 960 de captura de imágenes a una impresora, por ejemplo, cuando se imprime una imagen. Además, la interfaz 966 externa se conecta a una unidad si es necesario. Un medio removible, tal como, por ejemplo, un disco magnético o un disco óptico puede montarse en la unidad, y un programa para leer desde el medio removible
puede instalarse en el aparato 960 de captura de imágenes. Además, la interfaz 966 externa puede configurarse como una interfaz de red la cual se conecta a una red tal como una LAN o la Internet. Es decir, la interfaz 966 externa funciona como medio de transmisión en el aparato 960 de captura de imágenes .
Un medio de grabación montado en la unidad 968 de medio puede ser cualquier medio removible, legible y grabable, tal como, por ejemplo, un disco magnético, un disco magneto-óptico, un disco óptico, o una memoria de semiconductor. Además, un medio grabable puede montarse de manera fija a la unidad 968 de medios, para configurar una unidad de almacenamiento no portátil tal como, por ejemplo, una unidad de disco duro integrada o una unidad de estado sólido (SSD) .
La unidad 970 de control incluye un procesador, tal como una CPU, y memorias tales como una RAM y una ROM. Las memorias almacenan un programa ejecutado por la CPU, datos del programa, y similares. El programa almacenado en la memoria se lee y ejecuta por la CPU, por ejemplo, cuando se inicia el aparato 960 de captura de imágenes. La CPU ejecuta el programa, y de esta manera controla una operación del aparato 960 de captura de imágenes en respuesta a, por ejemplo, una señal de manipulación la cual se ingresa desde la interfaz 971 de usuario.
La interfaz 971 de usuario se conecta a la unidad 970 de control. La interfaz 971 de usuario incluye, por ejemplo, botones y conmutadores los cuales permiten a un usuario manipular el aparato 960 de captura de imágenes, y similares. La interfaz 971 de usuario genera una señal de manipulación mediante la detección de la manipulación realizada por un usuario mediante estos elementos componentes, y produce la señal de manipulación generada en la unidad 970 de control.
En el aparato 960 de captura de imágenes con la configuración anterior, la unidad 964 de procesamiento de imágenes tiene las funciones del codificador 1000 y el descodificador 2000 de acuerdo con la modalidad descrita en lo anterior.
Aplicación a una Codificación de imágenes de Varias-Vis'tas y Descodificación de Imágenes de Varias-Vistas
La Figura 39 es un diagrama que ilustra un ejemplo de un método de codificación de imágenes de varias vistas.
La serie de procesos descritos en lo anterior puede aplicarse a la codificación de imágenes de varias vistas y descodificación de imágenes de varias vistas.
Como se muestra en la Figura 39, las imágenes de varias vistas incluyen imágenes desde una pluralidad de vistas, y una imagen desde una cierta vista entre la
pluralidad de vistas se designa como una imagen de vista base. Las imágenes desde las vistas respectivas diferentes a la imagen vista base se tratan como imágenes de vista no base .
En la Figura 39, imágenes de tres vistas se presentan como imágenes de varias vistas, y una imagen que tiene 0 como view_id para identificar una imagen en cada vista es una imagen de vista base. Además, las imágenes que tienen view_id de 1 y 2 no son imágenes de vista base.
Aquí, en la codificación de imágenes de varías-vistas y la descodificación de imágenes de varias vistas, la imagen de vista base se procesa (codifica y descodifica) sin referirse a las imágenes en otras vistas. Por otra parte, la imagen de vista no base puede procesarse al referirse a imágenes en otras vistas. En la Figura 39, la flecha indica la referencia a una imagen, y una imagen al punto de inicio de la flecha puede procesarse al referirse a una imagen al punto extremo de la flecha si es necesario.
En un caso donde las imágenes de varias vistas, como se muestra en la Figura 39 se codifican y descodifican, cada imagen de vista se codifica y descodifica, y la técnica para el aparato de procesamiento de imágenes de la Figura 16 puede aplicarse a la codificación y descodificación de cada vista. Por consiguiente, como se describe en lo anterior, es posible evitar un aumento en el costo.
Además, en la codificación y descodificación de cada vista, el indicador y otra información utilizada para la técnica para el aparato de procesamiento de imágenes de la Figura 16 pueden compartirse.
Dispositivo de Codificación de Imágenes de Varias vistas
La Figura 40 es un diagrama de bloque que ilustra una configuración ejemplar de un dispositivo de codificación de imágenes de varias vistas el cual realiza la codificación de imágenes de varias vistas descritas en lo anterior.
Como se muestra en la Figura 40, el dispositivo 600 de codificación de imágenes de varias vistas incluye una unidad 601 de codificación, una unidad 602 de codificación, y una unidad 603 de multiplexión, y codifica las imágenes de varias vistas formadas por imágenes de dos vistas, que incluyen, por ejemplo, una imagen de vista base y una imagen de vista no base. Como imágenes de varias vistas formadas por imágenes de dos vistas, existen, por ejemplo, imágenes tridimensionales (3D) formadas por una imagen del ojo izquierdo la cual se observa con el ojo izquierdo y una imagen del ojo derecho la cual se observa con el ojo derecho.
La unidad 601 de codificación codifica la imagen de vista base para generar una corriente codificada de imagen de vista base. La unidad 602 de codificación codifica la imagen
de vista no base mientras se refiere a la imagen de vista base (una imagen de vista base la cual se codifica por la unidad 601 de codificación y se descodifica localmente) según sea necesario, para generar una corriente codificada de imagen de vista no base. La unidad 603 de multiplexión multiplexa la corriente codificada de imagen de vista base generada en la unidad 601 de codificación y la corriente codificada de imagen de vista no base generada en la unidad 602 de codificación, para generar una corriente codificada de imagen de varias vistas.
La técnica para el codificador 1000 del aparato de procesamiento de imágenes de la Figura 16 puede aplicarse a la unidad 601 de codificación y la unidad 602 de codificación del dispositivo 600 de codificación de imágenes de varias vistas. Además, como se describió en lo anterior, la unidad 601 de codificación y la unidad 602 de codificación pueden compartir el indicador y otra información.
Dispositivos de Descodificación de Imágenes de Varias vistas
La Figura 41 es un diagrama de bloques que ilustra una configuración ejemplar de un dispositivo de descodificación de imágenes de varias vistas el cual realiza la descodificación de imágenes de varias vistas descrita en lo anterior.
Como se muestra en la Figura 41, el dispositivo 610 de descodificación de imágenes de varias vistas incluye una unidad 611 de desmultiplexión, una unidad 612 de descodificación, y una unidad 613 de descodificación y descodifica, por ejemplo, la corriente codificada de imágenes de varias vistas obtenida por el dispositivo de descodificación de imágenes de varias vistas de la Figura 40.
La unidad 611 de desmultiplexión desmultiplexa la corriente codificada de imágenes de varias vistas en donde la corriente codificada de imágenes de vista base y la corriente codificada de imágenes de vista no base se multiplexan, para extraer la corriente codificada de imagen de vista base y la corriente codificada de imagen de vista no base. La unidad 612 de descodificación descodifica la corriente codificada de imagen de vista base extraída por la unidad 611 de desmultiplexión para obtener una imagen de vista base. La unidad 613 de descodificación descodifica la corriente codificada de imagen de vista no base extraída por la unidad 611 de desmultiplexión mientras se refiere a la imagen de vista base la cual es descodificada por la unidad 612 de descodificación cuando sea necesario, para obtener una imagen de vista no base.
El descodificador 2000 del aparato de procesamiento de imágenes de la Figura 16 puede aplicarse a la unidad 612 de descodificación y la unidad 613 de descodificación del
dispositivo 610 de descodificación de imágenes de varias vistas. Además, como se describió en lo anterior, la unidad 612 de descodificación y la unidad 613 de descodificación pueden compartir el indicador y otra información.
Aplicación a la Codificación de Imágenes de Capa Jerárquica y Descodi icación de Imágenes de Capa Jerárquica
La Figura 42 es un diagrama que ilustra un ejemplo de un método de codificación de imagen de capa jerárquica.
La serie de procesos descritos en lo anterior puede aplicarse a la codificación de imágenes de capa jerárquica y descodificación de imágenes de capa jerárquica.
Como se muestra en la Figura 42, imágenes de capa jerárquica incluyen imágenes de una pluralidad de capas jerárquicas (resoluciones) , y una imagen (por ejemplo, una imagen con la resolución más baja) de una cierta capa entre la pluralidad de capas jerárquicas se designa como la imagen de capa base.
Las imágenes de las capas jerárquicas respectivas diferentes a la imagen de capa base las cuales se tratan como imágenes de capa no base.
En la Figura 42, las imágenes de capa de tres jerarquías se encuentran presentes como imágenes de capa jerárquica, y una imagen que tiene 0 como layer_id para identificar una imagen de cada capa es una imagen de capa
base. Además, las imágenes que tienen layer_id de 1 y 2 son imágenes de capas no base. Además, la imagen de capa no base que tiene layer_id de 2 es, por ejemplo, una imagen con una resolución original de cierto contenido, y la imagen de capa no base que tiene layer_id de 1 es, por ejemplo, una imagen la cual se obtiene al deteriorar la resolución de la imagen de capa no base que tiene layer_id de 2. Además, la imagen de capa base que tiene layer_id de 0 es una imagen la cual se obtiene al deteriorar la resolución de la imagen de capa no base que tiene layer_id de 1.
Aqui, en la codificación de imágenes de capa jerárquica y la descodificación de imágenes de capa jerárquica, la imagen de la capa base se procesa (codifica y descodifica) sin hacer referencia a imágenes de otras capas (capa jerárquica) . Por otra parte, la imagen de capa no base puede procesarse por referencia a imágenes de otras capas. En la Figura 42, de la misma manera como en la Figura 39, la flecha indica la referencia de una imagen, y una imagen en el punto de inicio de la flecha puede procesarse al referirse a una imagen en el punto extremo de la flecha cuando sea necesario .
En un caso en donde las imágenes de capa jerárquica como se muestra en la Figura 42 se codifican y descodifican, cada imagen de capa jerárquica se codifica y descodifica, y la técnica del aparato de procesamiento de imágenes de la
Figura 16 puede aplicarse para codificar y descodificar cada capa jerárquica. Por consiguiente, como se describió en lo anterior, es posible evitar un aumento en un costo.
Además, en la codificación y descodificación de cada capa jerárquica, el indicador y otra información utilizada para la técnica para el aparato de procesamiento de imágenes de la Figura 16 puede compartirse.
Dispositivo de Codificación de Imágenes de Capa Jerárquica
La Figura 43 es un diagrama de bloque que ilustra una configuración ejemplar de un dispositivo de codificación de imágenes de capa jerárquica la cual realiza la codificación de imágenes de capa jerárquica descrita en lo anterior .
Como se muestra en la Figura 43, el dispositivo 620 de codificación de imágenes de capa jerárquica incluye una unidad 621 de codificación, una unidad 622 de codificación, y una unidad 623 de multiplexión, y codifica imágenes de capa jerárquica formadas por imágenes de capa de dos jerarquías que incluyen, por ejemplo, una imagen de capa base y una imagen de capa no base.
La unidad 621 de codificación codifica la imagen de capa base para generar una corriente codificada de imagen de capa base. La unidad 622 de codificación codifica la imagen
de capa no base, mientras que se refiere a la imagen de capa base (una imagen de capa base la cual se codifica por la unidad 621 de codificación y se descodifica localmente) cuando sea necesario, para generar una corriente codificada de imagen de capa no base. La unidad 623 de multiplexión multiplexa la corriente codificada de imagen de capa base generada en la unidad 621 de codificación y la corriente codificada de imagen de capa no base generada en la unidad 622 de codificación, para generar una corriente codificada de imagen de capa jerárquica.
La técnica para el codificador 1000 del aparato de procesamiento de imágenes de la Figura 16 puede aplicarse a la unidad 621 de codificación y la unidad 622 de codificación del dispositivo 620 de codificación de imagen de capa jerárquica. Además, como se describió en lo anterior, la unidad 621 de codificación y la unidad 622 de codificación pueden compartir el indicador y otra información.
Dispositivo de Codificación de Imágenes de Capa Jerárquica
La Figura 44 es un diagrama de bloques que ilustra una configuración ejemplar de un dispositivo de descodificación de imágenes de capa el cual realiza la capa descodificación de imágenes de capa jerárquica descrita en lo anterior.
Como se muestra en la Figura 44, el dispositivo 630 de descodificación de imágenes de capa jerárquica incluye una unidad 631 de desmultiplexión, una unidad 632 de descodificación, y una unidad 633 de descodificación, y descodifica, por ejemplo, la corriente codificada de imágenes de capa jerárquica obtenida por el dispositivo de codificación de imágenes de capa jerárquica de la Figura 43.
La unidad 631 de desmultiplexión desmultiplexa la corriente codificada de imagen de capa jerárquica en la cual la corriente codificada de imágenes de capa base y la corriente codificada de imágenes de capa no base se multiplexan, de manera que extraen la corriente de imagen codificada de capa base y la corriente codificada de imagen de capa no base. La unidad 632 de descodificación descodifica la corriente codificada de imagen de capa base extraída por la unidad 631 de desmultiplexión para obtener una imagen de capa base. La unidad 633 de descodificación descodifica la corriente de imágenes codificada de capa no base extraída por la unidad 631 de desmultiplexión mientras se refiere a la imagen de capa base la cual se descodifica por la unidad 632 de descodificación cuando sea necesario, para obtener una imagen de capa no base.
La técnica del descodificador 2000 del aparato de procesamiento de imágenes de la Figura 16 puede aplicarse a la unidad 632 de descodificación y la unidad 633 de
descodificación del dispositivo 630 de descodificación de imágenes de capa jerárquica. Además, como se describió en lo anterior, la unidad 632 de descodificación y la unidad 633 de descodificación pueden compartir el indicador y otra información.
Ejemplos del Uso del Método de Codificación de Imágenes de Capa Jerárcruica
Se describen ejemplos de uso del método de codificación de imágenes de capa jerárquica descrito en lo anterior .
Primer Ejemplo del Uso del Método de Codificación de Imágenes de Capa Jerárquica
La Figura 45 es un diagrama que ilustra un primer ejemplo del uso del método de codificación de imágenes de capa jerárquica.
La codificación de imágenes de capa jerárquica (en lo sucesivo, también denominada como codificación escalable) puede utilizarse, por ejemplo, para seleccionar los datos a transmitirse como en un ejemplo mostrado en la Figura 45.
En un sistema 3000 de transmisión de datos mostrado en la Figura 45, los datos codificados escalables los cuales se obtienen al codificar escalablemente una imagen de capa jerárquica se almacena en una unidad 3001 de almacenamiento
de datos codificados escalables.
Un servidor 3002 de distribución lee los datos codificados escalables almacenados en la unidad 3001 de almacenamiento de datos codificados escalables, y distribuye de los datos codificados escalables a los aparatos terminales, tales como una computadora 3004 personal, un aparato 3005 de AV, un dispositivo 3006 tipo Tablet, y un teléfono 3007 móvil mediante una red 3003.
En ese momento, el servidor 3002 de distribución selecciona y transmite datos codificados con la calidad apropiada (resolución y similares) basado en los desempeños de los aparatos terminales, circunstancias de comunicación, o similares. Incluso si el servidor 3002 de distribución transmite innecesariamente datos de alta calidad, no puede decirse que se obtiene una imagen de alta calidad en el aparato terminal, y existe una preocupación de que ocurra un retraso o sobreflujo. Además, existe la preocupación de que los datos de alta calidad pueden ocupar innecesariamente una banda de comunicación, y pueden aumentar innecesariamente una carga en el aparato terminal. A la inversa, si el servidor 3002 de distribución simplemente transmite datos de baja calidad, es difícil obtener una imagen de alta calidad, incluso si el rendimiento de los aparatos terminales o circunstancias de comunicación son suficientes. Por esta razón, el servidor 3002 de distribución lee y transmite datos
codificados con la calidad (capa) la cual es adecuada para el rendimiento de los aparatos terminales o las circunstancias de comunicación de la unidad 3001 de almacenamiento de datos codificados escalables, según sea apropiado.
Aquí, en la Figura 45, la unidad 3001 de almacenamiento de datos codificados escalables almacena los datos codificados escalables (BL + EL) 3011. Los datos 3011 codificados escalables (BL + EL) es una corriente codificada de imágenes de capa jerárquica en la que una corriente codificada de imágenes de capa base BL y una corriente codificada de imágenes de capa no base EL se multiplexan.
La corriente BL codificada de imágenes de capa base codifica los datos codificados obtenidos mediante la codificación de una imagen de capa base. Además, la corriente EL codificada de imágenes de capa no base codifica los datos obtenidos mediante la codificación de una imagen de capa no base (capa de mejora) mientras se refiere a la imagen de capa base, cuando sea necesario.
Por lo tanto, los datos codificados escalables (BL + EL) 3011 son datos codificados que incluyen imágenes, tanto de la capa base como la capa no base, y los datos que permiten tanto la imagen de capa base como la imagen de capa no base pueden obtenerse mediante la descodificación.
El servidor 3002 de distribución selecciona una capa apropiada basada en un rendimiento de un aparato
terminal el cual recibe datos (recibe datos de distribución) o circunstancias de comunicación, y lee los datos (necesarios para descodificar una imagen) de la capa desde la unidad 3001 de almacenamiento de datos codificados escalables. Por ejemplo, el servidor 3002 de distribución lee los datos codificados escalables (BL + EL) 3011 los cuales tienen una alta calidad (lo cual permite una imagen de alta calidad de obtenerse) desde la unidad 3001 de almacenamiento de datos codificados escalables, y transmite los datos, para la computadora 3004 personal o el dispositivo 3006 tipo Tablet que tiene un rendimiento de procesamiento alto. En contraste, por ejemplo, para el aparato 3005 de AV o el teléfono 3007 móvil que tiene un rendimiento de procesamiento bajo, el servidor 3002 de distribución de datos de capa base extrae
(corriente BL codificada de imagen de capa base) desde los datos codificados escalables (BL + EL) 3011, y transmite los datos como datos codificados escalables (BL) 3012 los cuales son datos del mismo contenido como los datos codificados escalables (BL + EL) 3011 en términos de contenido, pero tienen una menor calidad que los datos codificados escalables
(BL + EL) 3011.
Como se describe en lo anterior, ya que una cantidad de datos puede ajustarse fácilmente al utilizar los datos codificados escalables, es posible suprimir la ocurrencia de retraso o sobreflujo o suprimir un aumento
innecesario de una carga en un aparato terminal o un medio de comunicación .
Además, en la codificación escalable, debido a que la codificación de una imagen de capa no base (capa de mejora) se realiza mientras se refiere a una imagen de capa base, la redundancia entre las capas se reduce en los datos codificados escalables (BL + EL) 3011, y de este modo una cantidad de datos se vuelve menor que en un caso en donde una imagen de una capa no base se codifica sin referirse a imágenes de otras capas, es decir, de una manera independiente. Por lo tanto, una región de almacenamiento de la unidad 3001 de almacenamiento de datos codificados escalables puede utilizarse de manera más eficiente.
Además, varios aparatos tales como la computadora 3004 personal para el teléfono 3007 móvil pueden emplearse como aparatos terminales que reciben datos desde el servidor 3002 de distribución, y existen varios rendimientos de hardware de los aparatos terminales que varían. Además, existen varias aplicaciones las cuales se ejecutan por los aparatos terminales, y también existen varios rendimientos de software de los mismos. Además, todas las redes de líneas de comunicación, que incluyen una red alámbrica, una red inalámbrica, o ambas redes, tales como, por ejemplo, la Internet o una red de área local (LAN) pueden emplearse como la red 3003 la cual es un medio de comunicación, y existen
varios rendimientos de transmisión de datos. Además, un rendimiento de transmisión de datos de la red 3003 que sirve como un medio de comunicación puede variar dependiendo de una cantidad de tráfico u otras circunstancias de comunicación.
Por lo tanto, antes de iniciar la transmisión de datos, el servidor 3002 de distribución puede realizar una comunicación con un aparato terminal el cual es un destino de transmisión de los datos, para obtener información con respecto al rendimiento del aparato terminal tal como un rendimiento del hardware del aparato terminal y un rendimiento de una aplicación (software) ejecutado por el aparato terminal, y la información con respecto de las circunstancias de comunicación tales como un ancho de banda disponible de la red 3003. Además, el servidor 3002 de distribución puede seleccionar una capa apropiada basada en la información con respecto al rendimiento del aparato terminal y la información con respecto de las circunstancias de comunicación.
Además, la extracción de los datos codificados escalables (BL) 3012 de los datos codificados escalables (BL + EL) 3011 pueden realizarse por el aparato terminal, asi como por el servidor 3002 de distribución. Por ejemplo, la computadora 3004 personal no sólo puede descodificar los datos codificados escalables (BL + EL) 3011 los cuales se transmiten desde el servidor 3002 de distribución para
mostrar una imagen de capa no base, sino que también extraen los datos codificados escalables de capa base (BL) 3012 desde los datos codificados escalables (BL + EL) 3011 los cuales se transmiten desde el servidor 3002 de distribución para almacenar los datos, para transmitir los datos a otros dispositivos, o para descodificar los datos para la visualización de una imagen de capa base.
Desde luego, el número de unidades 3001 de almacenamiento de datos codificados escalables, el número de servidores 3002 de distribución, el número de redes 3003, y el número de aparatos de terminal todos son arbitrarios.
Además, el aparato terminal puede recibir, por ejemplo, datos codificados escalables de una pluralidad de elementos de contenido desde el servidor 3002 de distribución. Además, en un caso en donde los datos codificados escalables de una pluralidad de elementos de contenido se recibe desde el servidor 3002 de distribución, el aparato terminal puede realizar, por ejemplo, mostrar una pluralidad de pantallas tal como la también llamada muestra en dos pantallas en la que una imagen de capa no base se despliega en relación con cierto elemento de contenido entre la pluralidad de elementos de contenido, y una imagen de capa base se despliega en relación con otros elementos de contenido .
Segundo Ejemplo del Uso del Método de Codificación de Imagen de Capa Jerárquica
La Figura 46 es un diagrama que ilustra un segundo ejemplo del uso del método de codificación de imagen de capa j erárquica .
La codificación escalable puede utilizarse, por ejemplo, para la transmisión utilizando una pluralidad de medios de comunicación como en un ejemplo mostrado en la Figura 46.
En un sistema 3100 de transmisión de datos mostrado en la Figura 46, una estación 3101 de difusión transmite datos 3121 codificados escalables de capa base (BL) utilizando una difusión 3111 terrestre. Además, la estación 3101 de difusión transmite (por ejemplo, empaqueta y transmite) datos 3112 codificados escalables de capa no base (EL) mediante cualquier red 3112 formada por una red alámbrica, una red inalámbrica, o ambas.
Un aparato 3102 terminal tiene una función de recepción de la difusión 3111 terrestre la cual se difunde por la estación 3101 de difusión, y recibe los datos 3121 codificados escalables de capa base (BL) los cuales se transmiten mediante la difusión 3111 terrestre. Además, el aparato 3102 terminal adicional tiene una función de comunicación de realizar la comunicación utilizando la red 3112, y recibe los datos 3122 codificados escalables de capa
no base (EL) los cuales se transmite mediante la red 3112.
El aparato 3102 terminal puede descodificar los datos 3121 codificados escalables de capa base (BL) los cuales se adquieren mediante la difusión 3111 terrestre, por ejemplo, en respuesta a una instrucción desde un usuario, de manera que se obtiene una imagen de capa base, para almacenar la imagen, y para transmitir la imagen a otros aparatos.
Además, por ejemplo, en respuesta a una instrucción desde un usuario, el aparato 3102 terminal puede combinar los datos 3121 codificados escalables de capa base (BL) los cuales se adquieren mediante la difusión 3111 terrestre con los datos 3122 codificados escalables de capa no base (EL) los cuales se adquieren mediante la red 3112 para obtener datos codificados escalables (BL+EL) , y puede descodificar los datos para obtener una imagen de capa no base, para almacenar la imagen, y para transmitir la imagen a otros aparatos .
Como se describe en lo anterior, los datos codificados escalables pueden transmitirse mediante un medio de comunicación el cual es diferente para cada capa, por ejemplo. En este caso, una carga puede distribuirse, y de este modo es posible suprimir la ocurrencia de un retraso o sobrefluj o .
Además, un medio de comunicación utilizado para la transmisión puede seleccionarse para cada capa dependiendo de
las circunstancias. Por ejemplo, los datos 3121 codificados escalables de capa base (BL) que tienen una cantidad relativamente mayor de datos puede transmitirse mediante un medio de comunicación que tiene un ancho de banda amplio, y los datos 3122 codificados escalables de capa no base (EL) que tienen una cantidad relativamente pequeña de datos pueden transmitirse mediante un medio de comunicación que tiene un ancho de banda pequeño. Además, por ejemplo, un medio de comunicación para transmitir los datos 3122 codificados escalables de capa no base (EL) pueden cambiar entre la red 3112 y la difusión 3111 terrestre dependiendo de un ancho de banda disponible de la red 3112. Desde luego, esto también es lo mismo para los datos de cualquier capa.
El control se realiza como se describe en lo anterior, y de este modo es posible suprimir adicionalmente un aumento en una carga en transmisión de datos.
Además, el número de capas es arbitrario, y el número de medios de comunicación utilizados para la transmisión también es arbitrario. Además, el número de aparatos 3102 terminales que sirven como un destino de transmisión de datos también es arbitrario. Además, el sistema 3100 de transmisión de datos, el cual divide los datos codificados los cuales se codifican de forma escalable en una pluralidad de elementos de datos en la unidad de capas y transmite los elementos de datos mediante una pluralidad de
líneas como se muestra en la Figura 46, no se limita a un sistema el cual utiliza una difusión.
Tercer Ejemplo del Uso del Método de Codificación de Imagen de Capa Jerárquica
La Figura 47 es un diagrama que ilustra un tercer ejemplo del uso del método de codificación de imagen de capa j erárquica .
La codificación escalable puede utilizarse, por ejemplo, para almacenar datos codificados como en un ejemplo mostrado en la Figura 47.
En un sistema 3200 de captura de imágenes mostrado en la Figura 47, un aparato 3201 de captura de imágenes codifica de forma escalable los datos de imagen los cuales se obtienen al capturar la imagen de un objeto 3211, y suministrar los datos resultantes a un dispositivo 3202 de almacenamiento de datos codificados escalables como datos 3221 codificados escalables (BL+EL) .
El dispositivo 3202 de almacenamiento de datos codificados escalables almacena los datos 3221 codificados escalables (BL+EL) los cuales se suministran desde el aparato 3201 de captura de imágenes, con la calidad (resolución) basada en circunstancias. Por ejemplo, en un caso del tiempo normal, el dispositivo 3202 de almacenamiento de datos codificados escalables extrae los datos de capa base desde
los datos 3221 codificados escalables (BL+EL) , y almacena los datos como datos 3222 codificados escalables de capa base (BL) que tienen una cantidad pequeña de datos con baja calidad. En contraste, por ejemplo, en un caso del tiempo de notificación, el dispositivo 3202 de almacenamiento de datos codificados escalables almacenan los datos 3221 codificados escalables (BL+EL) que tienen una gran cantidad de datos con alta calidad como es.
Por consiguiente, debido a que el dispositivo 3202 de almacenamiento de datos codificados escalables puede preservar una imagen de alta calidad solamente según sea necesario, es posible suprimir un aumento en una cantidad de datos mientras suprime una reducción en el valor de una imagen debido al deterioro de la calidad de imagen, y debido a que mejora la eficiencia de uso de una región de almacenamiento .
Por ejemplo, el aparato 3201 de captura de imágenes se asume que- es una cámara de monitoreo. En un caso (un caso del tiempo normal) en donde un objetivo de monitoreo (por ejemplo, un invasor) no se refleja en una imagen capturada (datos de imagen obtenidos por el aparato 3201 de captura de imágenes) , existe una alta probabilidad de que el contenido de la imagen capturada no sea importante, y de este modo se da prioridad a la reducción en una cantidad de datos, y la imagen capturada (datos codificados escalables) se almacena
con baja calidad. En contraste, en un caso (un caso del tiempo de notificación) en donde un objetivo de monitoreo se refleja en una imagen capturada como un objeto 3211, existe una alta probabilidad de que el contenido de la imagen capturada puede ser importante, y de este modo se da prioridad a la calidad de imagen, y la imagen capturada (datos codificados escalables) se almacena con alta calidad.
Además, el tiempo normal y el tiempo de notificación pueden determinarse, por ejemplo, por el dispositivo 3202 de almacenamiento de datos codificados escalables que analiza una imagen. Además, el tiempo normal y el tiempo de notificación pueden determinarse, por ejemplo, por el aparato 3201 de captura de imágenes, y un resultado de determinación puede transmitirse al dispositivo 3202 de almacenamiento de datos codificados escalables.
Además, un criterio de determinación del tiempo normal y el tiempo de notificación es arbitrario, y el contenido de una imagen capturada la cual se utiliza como un criterio de determinación es arbitrario. Desde luego, condiciones diferentes al contenido de una imagen capturada pueden utilizarse como un criterio de determinación. Por ejemplo, el tiempo normal y el tiempo de notificación pueden determinarse basados en la magnitud, una forma de onda, o similares de un sonido grabado. Además, el tiempo normal y el tiempo de notificación pueden cambiar, por ejemplo, para cada
intervalo de tiempo predeterminado, o por una instrucción externa tal como una instrucción desde un usuario.
Además, en la descripción anterior, un ejemplo de cambio de dos estados que incluyen el tiempo normal y el tiempo de notificación se ha descrito, pero el número de estados es arbitrario, y, por ejemplo, tres o más estados tales como el tiempo normal, el tiempo de notificación breve, el tiempo de notificación, y el tiempo de notificación amplio pueden cambiar. En la presente, un número máximo de estados cambiados depende del número de capas de los datos codificados escalables.
Además, el aparato 3201 de captura de imágenes puede determinar el número de capas codificadas escalables basado en un estado. Por ejemplo, en un caso del tiempo normal, el aparato 3201 de captura de imágenes puede generar los datos 3222 codificados escalables de capa base (BL) que tienen una cantidad pequeña de datos con baja calidad, y puede suministrar los datos al dispositivo 3202 de almacenamiento de datos codificados escalables. Además, por ejemplo, en un caso del tiempo de notificación, el aparato 3201 de captura de imágenes puede generar la capa base y los datos 3221 codificados escalables de capa no base (BL+EL) que tienen una gran cantidad de datos con alta calidad, y puede suministrar los datos al dispositivo 3202 de almacenamiento de datos codificados escalables.
Además, el uso del sistema 3200 de captura de imágenes es arbitrario y no se limita a una cámara de monitoreo .
Además, en la presente especificación, se ha hecho una descripción de un ejemplo en el que diversas piezas de información tales como la información de modo de predicción y la información de fusión se multiplexan en un encabezado de una corriente codificada, y se transmiten desde un lado de codificación a un lado de descodificación. Sin embargo, un método para transmitir las piezas de información no se limita a este ejemplo. Por ejemplo, la información puede ser transmitida o grabada como datos separados correlacionados con una corriente codificada sin multiplexarse en la corriente codificada. Aquí, el término "correlacionada" indica que una imagen (la cual puede ser una parte de la imagen tal como un segmento o un bloque) incluidos en la corriente codificada puede enlazarse a la información que corresponde a la imagen durante la descodificación. Es decir, la información puede transmitirse en una trayectoria de transmisión diferente a la de la imagen (o la corriente codificada) . Además, la información puede grabarse en un medio de grabación (o un área de grabación diferente del mismo medio de grabación) diferente a la de la imagen (o la corriente codificada) . Sin embargo, la información y la imagen (o la corriente codificada) pueden correlacionarse
entre si en cualquier unidad tal como, por ejemplo, una pluralidad de tramas, una trama, o una parte de la trama.
Como se describe en lo anterior, aunque la modalidad preferida de la presente tecnología se ha descrito en detalle con referencia a los dibujos anexos, la presente invención no se limita a este ejemplo. Es obvio que aquellos con experiencia en la técnica pueden concebir diversas modificaciones o alteraciones en el alcance del espíritu técnico enumerado en las reivindicaciones, y se entiende que naturalmente también cae dentro del alcance técnico de la presente tecnología.
Además, la presente tecnología puede tener las siguientes configuraciones.
1
Un aparato de procesamiento de imágenes que incluye: una unidad de establecimiento la cual establece información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción establecida por la unidad de establecimiento; una unidad de codificación la cual codifica la imagen utilizando la imagen de predicción generada por la unidad de predicción y genera una corriente codificada; y una
unidad de transmisión la cual transmite la corriente codificada generada por la unidad de codificación y la información de restricción establecida por la unidad de establecimiento .
2
El aparato de procesamiento de imágenes de acuerdo con [1] , en el que la unidad de establecimiento establece la información de restricción basada en un ancho de banda de memoria el cual es un Indice de transmisión en el cual una imagen descodificada se lee desde una unidad de almacenamiento la cual almacena la imagen descodificada utilizada cuando se genera la imagen de predicción.
3
El aparato de procesamiento de imágenes de acuerdo con [2], en el cual la unidad de establecimiento establece información de restricción para restringir un método de predicción predeterminado para aplicarse a un bloque que tiene un gran tamaño, cuando el ancho de banda de memoria es pequeño .
4
El aparato de procesamiento de imágenes de acuerdo con [3] , en el cual el método de predicción predeterminado es
la predicción bidireccional , o ambas, predicción bidireccional y predicción unidireccional.
5
El aparato de procesamiento de imágenes de acuerdo con [1], en el cual la unidad de establecimiento establece la información de restricción basado en un perfil o un nivel.
6
El aparato de procesamiento de imágenes de acuerdo con [5] , en el cual la unidad de establecimiento establece información de restricción para restringir un método de predicción predeterminado para aplicarse a un bloque que tiene un gran tamaño como el tamaño de la imagen representada por el perfil o el nivel es grande.
7
El aparato de procesamiento de imágenes de acuerdo con [6], en el cual el método de predicción predeterminado es la predicción bidireccional, o ambas, predicción bidireccional y predicción unidireccional.
8
Un método de procesamiento de imágenes que incluye: una etapa de establecimiento para establecer información de
restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción establecida en la etapa de establecimiento; una etapa de codificación para codificar la imagen utilizando la imagen de predicción generada en la etapa de predicción y generar una corriente codificada; y una etapa de transmisión para transmitir la corriente codificada generada en la etapa de codificación y la información de restricción establecida en la etapa de establecimiento.
9
Un aparato de procesamiento de imágenes que incluye: una unidad de recepción la cual recibe información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, y una corriente codificada generada al codificar la imagen; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción recibida por la unidad de recepción; y una unidad de descodificación la cual descodifica la corriente codificada recibida por la unidad de recepción, utilizando la imagen de predicción generada por la unidad de predicción.
10
El aparato de procesamiento de imágenes de acuerdo con [9], en el cual la unidad de predicción genera la imagen de predicción, en un caso en donde la corriente codificada es adecuada para la información de restricción.
11
Un método de procesamiento de imágenes que incluye: una etapa de recepción para recibir información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, y una corriente codificada generada al codificar la imagen; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción recibida en la etapa de recepción; y una etapa de descodificación para descodificar la corriente codificada recibida en la etapa de recepción, utilizando la imagen de predicción generada en la etapa de predicción.
12
Un aparato de procesamiento de imágenes que incluye: una unidad de establecimiento la cual establece información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, basado en un perfil y un
nivel; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción establecida por la unidad de establecimiento; una unidad de codificación la cual codifica la imagen utilizando la imagen de predicción generada por la unidad de predicción y genera una corriente codificada; y una unidad de transmisión la cual transmite la corriente codificada generada por la unidad de codificación .
13
Un método de procesamiento de imágenes que incluye: una etapa de establecimiento para establecer información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, basado en un perfil y un nivel; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción establecida en la etapa de establecimiento; una etapa de codificación para codificar la imagen utilizando la imagen de predicción generada en la etapa de predicción y generar una corriente codificada; y una etapa de transmisión para transmitir la corriente codificada generada en la etapa de codificación.
14
aparato de procesamiento de imágenes qu
incluye: una unidad de recepción la cual recibe una corriente codificada, codificada de acuerdo con información de restricción para restringir un tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, basado en un perfil o un nivel; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción reconocida basada en el perfil o el nivel; y una unidad de descodificación la cual descodifica la corriente codificada recibida por la unidad de recepción, utilizando la imagen de predicción generada por la unidad de predicción.
15
Un método de procesamiento de imágenes que incluye: una etapa de recepción para recibir una corriente codificada, codificada de acuerdo con la información de restricción para restricción del tamaño de un bloque de una imagen y un método de predicción para aplicarse al bloque que tiene el tamaño, basado en un perfil o un nivel; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción reconocida basada en el perfil o el nivel; y una etapa de descodificación para descodificar la corriente codificada recibida en la etapa de recepción, utilizando la imagen de predicción generada en la etapa de predicción .
Lista de Signos de Referencia
100 DISPOSITIVO DE CODIFICACIÓN DE IMÁGENES, 106 UNIDAD DE CODIFICACIÓN REVERSIBLE, 121 UNIDAD DE CONTROL DE CODIFICACIÓN, 143 UNIDAD DE CODIFICACIÓN DE INDICADOR DE FUSIÓN, 144 UNIDAD DE CODIFICACIÓN DE MODO DE FUSIÓN, 200 DISPOSITIVO DE DESCODIFICACIÓN DE IMÁGENES, 202 UNIDAD DE DESCODIFICACIÓN REVERSIBLE, 221 UNIDAD DE CONTROL DE DESCODIFICACIÓN, 243 UNIDAD DE DESCODIFICACIÓN DE INDICADOR DE FUSIÓN, 244 UNIDAD DE DESCODIFICACIÓN DE MODO DE FUSIÓN, 1001 MEMORIA INTERMEDIA DE IMAGEN DE ENTRADA, 1002 UNIDAD DE CÁLCULO, 1003 UNIDAD DE TRANSFORMADA ORTOGONAL, 1004 UNIDAD DE CUANTIFICACIÓN, 1005 UNIDAD DE CODIFICACIÓN DE ENTROPÍA, 1006 UNIDAD DE CUANTIFICACIÓN INVERSA, 1007 UNIDAD DE TRANSFORMADA ORTOGONAL INVERSA, 1008 UNIDAD DE CÁLCULO, 1009 FILTRO DE DESBLOQUEO, 1010 UNIDAD DE COMPENSACIÓN DE MUESTRA ADAPTABLE, 1011 UNIDAD DE ESTIMACIÓN DE COMPENSACIÓN DE MUESTRA ADAPTABLE, 1012 FILTRO DE BUCLE ADAPTABLE, 1013 UNIDAD DE ESTIMACIÓN DE FILTRO DE BUCLE ADAPTABLE, 1014 DPB, 1015 UNIDAD DE ESTIMACIÓN DE INTRA-DIRECCIÓN, 1016 UNIDAD DE INTRA-PREDICCIÓN, 1017 UNIDAD DE ESTIMACIÓN DE MOVIMIENTO, 1018 UNIDAD DE INTER-PREDICCIÓN, 1019 UNIDAD DE DETERMINACIÓN DE MODO, 1021 UNIDAD DE ESTABLECIMIENTO, 2001 UNIDAD DE DESCODIFICACIÓN DE ENTROPÍA, 2002 UNIDAD DE CUANTIFICACIÓN INVERSA, 2003 UNIDAD DE TRANSFORMADA ORTOGONAL INVERSA, 2004
UNIDAD DE CÁLCULO, 2005 FILTRO DE DESBLOQUEO, 2006 UNIDAD DE COMPENSACIÓN DE MUESTRA ADAPTABLE, 2007 FILTRO DE BUCLE ADAPTABLE, 2008 DPB, 2009 UNIDAD DE INTRA-PREDICCIÓN, 2010 UNIDAD DE INTER-PREDICCIÓN, 2011 UNIDAD DE SELECCIÓN DE MODO
Claims (15)
1. Un aparato de procesamiento de imágenes caracterizado porque comprende: una unidad de establecimiento que establece la información de restricción para prohibir un tamaño y predicción direccional a aplicarse a una unidad de codificación que tiene el tamaño, en un caso en donde el tamaño de la unidad de codificación la cual es un bloque representado por una estructura de capa jerárquica de una imagen es 8 x 8; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción establecida por la unidad de establecimiento; una unidad de codificación la cual codifica la imagen utilizando la imagen de predicción generada por la unidad de predicción y genera una corriente codificada; y una unidad de transmisión la cual transmite la corriente codificada generada por la unidad de codificación y la información de restricción establecida por la unidad de establecimiento .
2. El aparato de procesamiento de imágenes de conformidad con la reivindicación 1, caracterizado porque la unidad de establecimiento establece la información de restricción basado en un ancho de banda de memoria la cual es un Indice de transmisión en el que la imagen descodificada se lee desde la unidad de almacenamiento la cual almacena la imagen descodificada utilizada cuando se genera la imagen de predicción .
3. El aparato de procesamiento de imágenes de conformidad con la reivindicación 2, caracterizado porque la unidad de establecimiento establece la información de restricción para prohibir un método de predicción predeterminado a aplicarse a un bloque que tiene un gran tamaño, cuando el ancho de banda de memoria es pequeño.
4. El aparato de procesamiento de imágenes de conformidad con la reivindicación 3, caracterizado porque el método de predicción predeterminado es predicción bidireccional , o tanto predicción bidireccional como predicción unidireccional.
5. El aparato de procesamiento de imágenes de conformidad con la reivindicación 1, caracterizado porque la unidad de establecimiento establece la información de restricción basado en un perfil o un nivel.
6. El aparato de procesamiento de imágenes de conformidad con la reivindicación 5, caracterizado porque la unidad de establecimiento establece la información de restricción para prohibir un método de predicción predeterminado a aplicarse a un bloque que tiene un gran tamaño cuando el tamaño de la imagen representada por el perfil o el nivel es grande.
7. El aparato de procesamiento de imágenes de conformidad con la reivindicación 6, caracterizado porque el método de predicción predeterminado es predicción bidireccional, o tanto predicción bidireccional como predicción unidireccional.
8. Un método de procesamiento de imágenes caracterizado porque comprende: una etapa de establecimiento para establecer información de restricción para prohibir un tamaño, y predicción bidireccional a aplicarse a una unidad de codificación que tiene el tamaño, en un caso en donde el tamaño de la unidad de codificación la cual es un bloque representado por una estructura de capa jerárquica de una imagen es 8 x 8 ; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción establecida en la etapa de establecimiento; una etapa de codificación para codificar la imagen utilizando la imagen de predicción generada en la etapa de predicción y generar una corriente codificada; y una etapa de transmisión para transmitir la corriente codificada generada en la etapa de codificación y la información de restricción establecida en la etapa de establecimiento .
9. Un aparato de procesamiento de imágenes caracterizado porque comprende: una unidad de recepción la cual recibe información de restricción para prohibir un tamaño, y predicción bidireccional a aplicarse a una unidad de codificación que tiene el tamaño, en un caso en donde el tamaño de la unidad de codificación la cual es un bloque representado por una estructura de capa jerárquica de una imagen es 8 x 8, y una corriente codificada generada por la codificación de la imagen; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción recibida por la unidad de recepción; y una unidad de descodificación la cual descodifica la corriente codificada recibida por la unidad de recepción, utilizando la imagen de predicción generada por la unidad de predicción .
10. El aparato de procesamiento de imágenes de conformidad con la reivindicación 9, caracterizado porque la unidad de predicción genera la imagen de predicción, en un caso en donde la corriente codificada es adecuada para la información de restricción.
11. Un método de procesamiento de imágenes caracterizado porque comprende: una etapa de recepción para recibir información de restricción para prohibir un tamaño, y predicción bidireccional a aplicarse a una unidad de codificación que tiene el tamaño, en un caso en donde el tamaño de la unidad de codificación la cual es un bloque representado por una estructura de capa jerárquica de una imagen es 8 x 8, y una corriente codificada generada por la codificación de la imagen; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción recibida en la etapa de recepción; y una etapa de descodificación para descodificar la corriente codificada recibida en la etapa de recepción, utilizando la imagen de predicción generada en la etapa de predicción .
12. Un aparato de procesamiento de imágenes caracterizado porque comprende: una unidad de establecimiento la cual establece información de restricción para prohibir un tamaño, y predicción bidireccional a aplicarse a una unidad de codificación que tiene el tamaño, en un caso en donde el tamaño de la unidad de codificación la cual es un bloque representado por una estructura de capa jerárquica de una imagen es 8 x 8, basado en un perfil y un nivel; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción establecida por la unidad de establecimiento; una unidad de codificación la cual codifica la imagen utilizando la imagen de predicción generada por la unidad de predicción y genera una corriente codificada; y una unidad de transmisión la cual transmite la corriente codificada generada por la unidad de codificación.
13. Un método de procesamiento de imágenes caracterizado porque comprende: una etapa de establecimiento para establecer información de restricción para prohibir un tamaño, y predicción bidireccional a aplicarse a una unidad de codificación que tiene el tamaño, en un caso en donde el tamaño de la unidad de codificación la cual es un bloque representado por una estructura de capa jerárquica de una imagen es 8 x 8, basado en un perfil y un nivel; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción establecida en la etapa de establecimiento; una etapa de codificación para codificar la imagen utilizando la imagen de predicción generada en la etapa de predicción y generar la corriente codificada; y una etapa de transmisión para transmitir la corriente codificada generada en la etapa de codificación.
14. Un aparato de procesamiento de imágenes caracterizado porque comprende: una unidad de recepción la cual recibe una corriente codificada, codificada de acuerdo con la información de restricción para prohibir un tamaño, y predicción bidireccional a aplicarse a una unidad de codificación que tiene el tamaño, en un caso en donde el tamaño de la unidad de codificación la cual es un bloque representado por una estructura de capa jerárquica de una imagen es 8 x 8, basado en un perfil o un nivel; una unidad de predicción la cual genera una imagen de predicción de acuerdo con la información de restricción reconocida basada en el perfil o el nivel; y una unidad de descodificación la cual descodifica la corriente codificada recibida por la unidad de recepción, utilizando la imagen de predicción generada por la unidad de predicción.
15. Un método de procesamiento de imágenes caracterizado porque comprende: una etapa de recepción para recibir una corriente codificada, codificada de acuerdo con la información de restricción para prohibir un tamaño, y predicción bidireccional a aplicarse a una unidad de codificación que tiene el tamaño, en un caso en donde el tamaño de la unidad de codificación la cual es un bloque representado por una estructura de capa jerárquica de una imagen es 8 x 8, basado en un perfil o un nivel; una etapa de predicción para generar una imagen de predicción de acuerdo con la información de restricción reconocida basada en el perfil o el nivel; y una etapa de descodificación para descodificar la corriente codificada recibida en la etapa de recepción, utilizando la imagen de predicción generada en la etapa de predicción. RESUMEN DE LA INVENCIÓN La presente tecnología pertenece a un dispositivo de procesamiento de imágenes y a un método que permite evitar que el dispositivo tenga alto costo. Una unidad de establecimiento establece el tamaño de un bloque de imagen y la información de restricción que restringe el tamaño del método de predicción aplicado al bloque. Una unidad de inter-predicción genera una imagen prevista de acuerdo con la información de restricción. Un codificador (1000) codifica el bloque utilizando la imagen prevista, y genera una corriente codificada. También, el codificador (1000) transmite la corriente codificada y la información de restricción. La presente tecnología puede aplicarse a tales casos como codificación/descodificación de una imagen.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012009330 | 2012-01-19 | ||
| JP2012046567 | 2012-03-02 | ||
| JP2012101007 | 2012-04-26 | ||
| PCT/JP2013/050214 WO2013108691A1 (ja) | 2012-01-19 | 2013-01-09 | 画像処理装置および方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| MX2014008483A true MX2014008483A (es) | 2014-10-14 |
Family
ID=48799117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| MX2014008483A MX2014008483A (es) | 2012-01-19 | 2013-01-09 | Dispositivo y metodo de procesamiento de imagenes. |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US9894355B2 (es) |
| EP (1) | EP2806641A4 (es) |
| JP (4) | JP5924553B2 (es) |
| CN (1) | CN104041034B (es) |
| MX (1) | MX2014008483A (es) |
| WO (1) | WO2013108691A1 (es) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI3907999T3 (fi) | 2010-09-02 | 2023-12-14 | Lg Electronics Inc | Inter-ennustus |
| CN107820090B (zh) * | 2011-09-14 | 2020-06-23 | 三星电子株式会社 | 用于对视频进行编码和解码的方法和装置 |
| US9451277B2 (en) * | 2012-02-08 | 2016-09-20 | Qualcomm Incorporated | Restriction of prediction units in B slices to uni-directional inter prediction |
| CA2923286C (en) * | 2012-07-02 | 2019-05-07 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video and method and apparatus for decoding video determining inter-prediction reference picture list depending on block size |
| GB201405649D0 (en) | 2014-03-28 | 2014-05-14 | Sony Corp | Data encoding and decoding |
| WO2015163167A1 (ja) * | 2014-04-23 | 2015-10-29 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US10327002B2 (en) | 2014-06-19 | 2019-06-18 | Qualcomm Incorporated | Systems and methods for intra-block copy |
| KR102250051B1 (ko) * | 2014-10-30 | 2021-05-11 | 삼성디스플레이 주식회사 | 커브드 디스플레이 장치 제조방법 |
| EP3202143B8 (en) * | 2014-11-18 | 2019-09-25 | MediaTek Inc. | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
| CN105513048A (zh) * | 2015-11-24 | 2016-04-20 | 西安电子科技大学昆山创新研究院 | 基于子带信息熵度量的图像质量评价方法 |
| CN116320498A (zh) * | 2016-11-28 | 2023-06-23 | 韩国电子通信研究院 | 用于滤波的方法和装置 |
| CA3051822A1 (en) * | 2017-01-31 | 2018-08-09 | Sharp Kabushiki Kaisha | Systems and methods for performing planar intra prediction video coding |
| WO2018160034A1 (ko) * | 2017-03-03 | 2018-09-07 | 에스케이텔레콤 주식회사 | 영상 부호화 또는 복호화하기 위한 장치 및 방법 |
| KR102390413B1 (ko) * | 2017-03-03 | 2022-04-25 | 에스케이텔레콤 주식회사 | 영상 부호화 또는 복호화하기 위한 장치 및 방법 |
| US11070815B2 (en) * | 2017-06-07 | 2021-07-20 | Mediatek Inc. | Method and apparatus of intra-inter prediction mode for video coding |
| KR102476204B1 (ko) * | 2017-10-19 | 2022-12-08 | 삼성전자주식회사 | 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템 |
| CN109936752B (zh) * | 2017-12-15 | 2021-03-30 | 中国移动通信集团云南有限公司 | 一种图像分层处理方法及装置 |
| US11012687B2 (en) * | 2018-10-01 | 2021-05-18 | Tencent America LLC | Method and apparatus for video coding |
| WO2020137643A1 (ja) | 2018-12-28 | 2020-07-02 | ソニー株式会社 | 画像処理装置および方法 |
| CN118694932A (zh) | 2018-12-28 | 2024-09-24 | 三星电子株式会社 | 用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备 |
| US10694189B1 (en) * | 2019-03-18 | 2020-06-23 | Amazon Technologies, Inc. | Adaptive use of search modes based on bandwidth availability |
| US10798380B1 (en) | 2019-03-18 | 2020-10-06 | Amazon Technologies, Inc. | Adaptive use of search modes based on neighboring blocks |
| US20220107738A1 (en) * | 2020-10-06 | 2022-04-07 | Kioxia Corporation | Read controller and input/output controller |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI226805B (en) * | 2003-08-28 | 2005-01-11 | Mediatek Inc | Efficient video codec system and related method |
| WO2005109896A2 (en) * | 2004-05-04 | 2005-11-17 | Qualcomm Incorporated | Method and apparatus to construct bi-directional predicted frames for temporal scalability |
| US8363714B2 (en) * | 2004-12-22 | 2013-01-29 | Entropic Communications, Inc. | Video stream modifier |
| US8565307B2 (en) * | 2005-02-01 | 2013-10-22 | Panasonic Corporation | Picture encoding method and picture encoding device |
| JP4666255B2 (ja) * | 2005-12-27 | 2011-04-06 | 日本電気株式会社 | 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置 |
| US20090161766A1 (en) * | 2007-12-21 | 2009-06-25 | Novafora, Inc. | System and Method for Processing Video Content Having Redundant Pixel Values |
| JP2010278668A (ja) * | 2009-05-27 | 2010-12-09 | Sony Corp | 符号化装置及び符号化方法、並びに復号装置及び復号方法 |
| US8923395B2 (en) * | 2010-10-01 | 2014-12-30 | Qualcomm Incorporated | Video coding using intra-prediction |
| BR112014007494B1 (pt) * | 2011-09-29 | 2022-05-31 | Sharp Kabushiki Kaisha | Dispositivo de decodificação de imagem, método de decodificação de imagem, e dispositivo de codificação de imagem |
| PL3280139T3 (pl) * | 2011-11-08 | 2020-07-27 | Kabushiki Kaisha Toshiba | Metoda dekodowania obrazu i urządzenie do dekodowania obrazu |
| US9503716B2 (en) * | 2011-12-19 | 2016-11-22 | Broadcom Corporation | Block size dependent filter selection for motion compensation |
-
2013
- 2013-01-09 MX MX2014008483A patent/MX2014008483A/es not_active Application Discontinuation
- 2013-01-09 JP JP2013554276A patent/JP5924553B2/ja not_active Expired - Fee Related
- 2013-01-09 EP EP13738943.3A patent/EP2806641A4/en not_active Ceased
- 2013-01-09 WO PCT/JP2013/050214 patent/WO2013108691A1/ja not_active Ceased
- 2013-01-09 CN CN201380005222.6A patent/CN104041034B/zh not_active Expired - Fee Related
- 2013-01-09 US US14/363,874 patent/US9894355B2/en active Active
-
2016
- 2016-04-22 JP JP2016086115A patent/JP6206743B2/ja not_active Expired - Fee Related
-
2017
- 2017-09-11 JP JP2017173737A patent/JP6586979B2/ja not_active Expired - Fee Related
-
2018
- 2018-01-04 US US15/861,973 patent/US10715798B2/en active Active
-
2019
- 2019-08-29 JP JP2019156414A patent/JP2020014225A/ja active Pending
-
2020
- 2020-06-03 US US16/891,418 patent/US20200296357A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2013108691A1 (ja) | 2015-05-11 |
| US10715798B2 (en) | 2020-07-14 |
| JP6206743B2 (ja) | 2017-10-04 |
| US20140355677A1 (en) | 2014-12-04 |
| JP6586979B2 (ja) | 2019-10-09 |
| CN104041034A (zh) | 2014-09-10 |
| JP5924553B2 (ja) | 2016-05-25 |
| JP2020014225A (ja) | 2020-01-23 |
| JP2016178656A (ja) | 2016-10-06 |
| US9894355B2 (en) | 2018-02-13 |
| US20180131931A1 (en) | 2018-05-10 |
| CN104041034B (zh) | 2018-10-16 |
| EP2806641A4 (en) | 2016-01-13 |
| EP2806641A1 (en) | 2014-11-26 |
| WO2013108691A1 (ja) | 2013-07-25 |
| US20200296357A1 (en) | 2020-09-17 |
| JP2018014744A (ja) | 2018-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6586979B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP6459005B2 (ja) | 画像処理装置および画像処理方法 | |
| EP3777166A1 (en) | Frame-level super-resolution-based video coding | |
| CN104041030B (zh) | 图像处理设备和方法 | |
| US20190246137A1 (en) | Image processing apparatus and method | |
| JPWO2013164922A1 (ja) | 画像処理装置及び画像処理方法 | |
| JPWO2014050676A1 (ja) | 画像処理装置および方法 | |
| JP2013126157A (ja) | 画像処理装置及び画像処理方法 | |
| CN104641646A (zh) | 图像处理设备和图像处理方法 | |
| KR102307026B1 (ko) | 화상 처리 장치 및 방법 | |
| WO2014103774A1 (ja) | 画像処理装置および方法 | |
| WO2013157308A1 (ja) | 画像処理装置及び画像処理方法 | |
| CN103636219A (zh) | 图像处理装置和方法 | |
| WO2014045954A1 (ja) | 画像処理装置および方法 | |
| WO2014141899A1 (ja) | 画像処理装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FA | Abandonment or withdrawal |