MX2011010550A

MX2011010550A - Aparato de codificacion de video y aparato de decodificacion de video.

Info

Publication number: MX2011010550A
Application number: MX2011010550A
Authority: MX
Inventors: Tomoyuki Yamamoto; Tomohiro Ikai
Original assignee: Sharp Kk
Priority date: 2009-04-08
Filing date: 2010-03-17
Publication date: 2011-10-19
Also published as: EA201690326A1; EA201690324A1; MY157572A; EA201101473A1; HK1211399A1; BRPI1014257A2; EP2418855A4; JP2017028726A; CN102388614B; CN104717502A; US20120033731A1; CN104717504A; JP6012816B2; EP2418855B1; CN104717503B; EA201690320A3; EP2418855A1; EA029414B1; CN104717502B; HK1211401A1

Abstract

Mientras se mantiene el alto grado de libertad para elegir los tamaños de partición y los tamaños de transformación adaptados para las características locales de los videos, la cantidad de metadatos es disminuida. Un dispositivo de codificación de video (10) divide un video de entrada en bloques de un tamaño prescrito y codifica el video bloque por bloque. El dispositivo de codificación de video es proporcionado con: una unidad de decisión de parámetro de predicción (102) que decide la estructura de partición de bloque; una unidad de generación de imagen prevista (103) que genera imágenes predictivas, partición por partición, como es prescrito por la estructura de partición; una unidad de generación de coeficiente de transformación (107) que aplica una de las transformaciones de frecuencia incluidas en la transformación predeterminada preestablecida prescrita en los residuales de predicción, es decir, las diferencias entre las imágenes predictivas y el video de entrada; una unidad de derivación de restricción de transformación (104) que genera listas de candidata de transformación, es decir, listas de transformaciones de frecuencia que pueden ser aplicadas en cada partición, en función de la información de formato de partición; y una unidad de codificación de longitud variable 108, que en función de las listas de candidatas de transformación y la transformación preestablecida, realiza la codificación de longitud variable en los avisos de selección de transformación.

Description

APARATO DE CODIFICACION DE VIDEO Y APARATO DE DECODIFICACION DE VIDEO Campo de la Invención La presente invención se refiere a un aparato de codificación de video que produce datos codificados mediante la codificación de un video, y se refiere a un aparato de decodificación de video reproduce el video de los datos codificados del video que es transmitido y acumulado.

Antecedentes de la Invención <Introducción y Definiciones de los Términos Básicos> En un sistema de codificación de video basado en bloque: un video de entrada que será codificado es dividido en una unidad predeterminada de procesamiento que es referida como "macrobloques" (de aquí en adelante, "MB"); el procesamiento de codificación es ejecutado para cada una de los MBs; y con lo cual, son producidos los datos codificados. Cuando un video es reproducido, los datos codificados, que serán decodificados , son procesados para cada uno de los MBs, y es producida una imagen decodificada .

Existe un sistema especificado en la Literatura de Patente 1 (H.264/AVC (Codificación Avanzada de Video)) como un sistema de codificación de video basado en bloque que es ampliamente prevaleciente en la actualidad. De acuerdo con la REF. 223768 H.264/AVC, son producidas imágenes predictivas que predicen un video de entrada que será dividido en MBs, y es calculado el residual de predicción que es una diferencia entre el video de entrada y la imagen predictiva. Un coeficiente de transformación es derivado mediante la aplicación de una transformación de frecuencia como es representado por una transformada del coseno discreto (DCT) al residual de predicción. El coeficiente de transformación derivado es codificado de longitud variable utilizando un método que es referido como "CABAC (Codificación Aritmética Binaria Adaptiva Basada en Contexto)" o "CAVLC (Codificación de Longitud Variable Adaptiva Basada en Contexto) " . La imagen predictiva es producida a través de la intra-predicción que utiliza la correlación espacial del video o la inter-predicción (predicción de compensación de movimiento) que utiliza la correlación espacial de los videos. <Concepto de la Partición y Efectos de la Misma> De acuerdo con la inter-predicción, una imagen que se aproxima a un video de entrada de un MB que será codificado, es producida a través de una unidad que es referida como una "partición" . Uno o dos vectores de movimiento son relacionados con cada partición. Una imagen predictiva es producida con referencia al área que corresponde con el MB que será codificado en una imagen decodificada local que es grabada en una memoria de cuadro, en función del (los) vector(es) de movimiento. La imagen decodificada local referida en este caso es llamada como la "imagen de referencia". De acuerdo con la H.264/AVC, estos tamaños de partición se encuentran disponibles como "16x16", "16x8", "8x16", "8x8, "8x4", "4x8", y "4x4" en píxeles. Cuando es utilizado un tamaño de partición pequeño, una imagen predictiva puede ser producida mediante la designación de cada vector de movimiento en unidades finas y por lo tanto, la imagen predictiva puede ser producida de manera que se encuentre cercana al video de entrada aún cuando sea baja la correlación espacial del movimiento. Por otro lado, cuando es utilizado un gran tamaño de partición, puede ser reducida la cantidad de códigos que son necesarios para la codificación de un vector de movimiento cuando es alta la correlación espacial del movimiento. <Concepto de Tamaño de Transformación y Efectos del Mismo> Para un residual de predicción que es producido utilizando una imagen predictiva, la redundancia espacial o temporal del valor de píxel del video de entrada es reducida. Además, la energía puede ser concentrada en un componente de baja frecuencia de un coeficiente de transformación mediante la aplicación de una DCT al residual de predicción. Por lo tanto, al ejecutar la codificación de longitud variable utilizando la desviación de la energía, puede ser reducida la cantidad de códigos si se compara con la del caso en donde no son utilizadas la imagen predictiva ni la DCT.

De acuerdo con la H.264/AVC, es empleado un sistema (selección de transformación adaptiva de bloque) que selecciona una DCT adaptada a la propiedad local del video de las DCTs que tienen tipos plurales de tamaños de transformación con el propósito de incrementar la concentración de energía en el componente de baja frecuencia a través de la DCT. Por ejemplo, cuando una imagen predictiva es producida utilizando la inter-predicción, la DCT puede ser seleccionada de manera que pueda ser aplicada a la transformación del residual de predicción, a partir de dos tipos de DCTs que son una DCT 8x8 y una DCT 4x4. La DCT 8x8 es efectiva para el área plana que tiene una cantidad relativamente pequeña de componentes de alta frecuencia debido a que la correlación espacial del valor de píxel puede ser utilizada en un intervalo amplio en la DCT 8x8. Por otro lado, la DCT 4x4 es efectiva para el área que tiene una gran cantidad de componentes de alta frecuencia tal como el área que incluye el contorno de un objeto. Puede decirse que de acuerdo con la H.264/AVC, la DCT 8x8 es la DCT para un tamaño de transformación grande y que la DCT 4x4 es la DCT para un tamaño de transformación pequeño.

De acuerdo con la H.264/AVC, la DCT 8x8 y la DCT 4x4 pueden ser seleccionadas cuando el área de la partición es igual o más grande que 8x8 píxeles . La DCT 4x4 puede ser seleccionada cuando el área de la partición es más pequeña que 8x8 píxeles.

Del mismo modo que con anterioridad, de acuerdo con la H.264/AVC, un tamaño de partición adecuado y un tamaño de transformación adecuado pueden ser seleccionados de manera que correspondan con el grado de cada una de la correlación espacial del valor de píxel, o la correlación espacial del vector de movimiento que son las propiedades locales de un video. Por lo tanto, puede ser reducida la cantidad de códigos de los datos codificados. <Descripción de la Expansión de Tamaño de Transformación Adaptiva y la Expansión de Tamaño de Partición> En forma reciente, se han incrementado los videos de alta definición que tienen la misma resolución o más alta que el "HD (1920 x 1080 píxeles)". Si se compara con el caso de un video convencional de baja resolución, en el caso de un video de alta definición, la correlación espacial del valor de píxel y la correlación espacial del vector de movimiento en un video pueden tomar un intervalo amplio en el área local en el video. Después de todo, el video de alta definición tiene una propiedad en la que las correlaciones espaciales son altas en el área local para ambos del valor de píxel y el vector de movimiento.

La Literatura de Patente 2 describe un sistema de codificación de video de acuerdo con el cual es reducida la cantidad de códigos de los datos codificados mediante la utilización de la propiedad de la correlación espacial en un video de alta definición como con anterioridad al expandir el tamaño de partición y el tamaño de transformación en la H.264/AVC.

De manera más específica, los tamaños de partición tales como "64x64", "64x32", "32x64", "32x32", "32x16", y "16x32" son agregados además de aquellos que son especificados en la H.264/AVC. Además, la DCT que tiene tres tipos de nuevos tamaños de transformación de "DCT 16x16", "DCT 16x8" y "DCT 8x16" son agregadas además de aquellas que son especificadas en la H.264/AVC.

Cuando el área de la partición es igual o más grande que 16x16 píxeles, la DCT 16x16, la DCT 8x8 y la DCT 4x4 pueden ser seleccionadas. Cuando el tamaño de partición es de 16x8, la DCT 16x8, la DCT 8x8 y la DCT 4x4 pueden ser seleccionadas. Cuando el tamaño de partición es 8x16, la DCT 8x16, la DCT 8x8 y la DCT 4x4 pueden ser seleccionadas. Cuando el tamaño de partición es 8x8, la DCT 8x8 y la DCT 4x4 pueden ser seleccionadas. Cuando el área de la partición es más pequeña que 8x8 píxeles, la DCT 4x4 puede ser seleccionada .

De acuerdo con el sistema descrito en la Literatura sin Patente 2, la cantidad de códigos de los datos codificados puede ser reducida, debido a que el tamaño de partición y el tamaño de transformación que son adaptivos a la propiedad local del video pueden ser seleccionados incluso para un video de alta definición que tiene intervalos dinámicos relativamente anchos de correlaciones espaciales del píxel y el vector de movimiento mediante el cambio entre los distintos tamaños de partición y tamaños de transformación anteriores.

Documento de la Técnica Anterior Literatura sin Patente Literatura sin Patente 1: ITU-T Recomendación H.264 (11/07) .

Literatura sin Patente 2: ITU-T T09-SG16-C-0123.

Breve Descripción de la Invención Problemas que Serán Resueltos por la Invención Del mismo modo que con anterioridad, en el sistema de codificación de video, es efectivo el incremento de los tipos de tamaños de partición y tamaños de transformación que pueden ser seleccionados para reducir la cantidad de códigos de los datos codificados. Sin embargo, se genera un nuevo problema en el que es incrementada la cantidad de códigos de la información adicional que es requerida para seleccionar el tamaño de partición y el tamaño de transformación aplicados en la decodificación en cada área local en un video.

De acuerdo con las Literaturas sin Patente 1 y 2, aún cuando es grande el tamaño de partición, una transformación de frecuencia cuyo tamaño de transformación es pequeño (la DCT 4x4) puede ser utilizada. Sin embargo, una partición grande tiende a ser seleccionada en el área que tiene una correlación espacial alta del valor de píxel y el vector de movimiento. Por lo tanto, cuando es aplicada la transformación de frecuencia cuyo tamaño de transformación es pequeño a esta partición, es difícil concentrar la energía del residual de predicción en menos coeficientes de transformación si se compara con el caso en donde la transformación de frecuencia cuyo tamaño de transformación es grande es aplicada al mismo. Por lo tanto, una transformación de frecuencia cuyo tamaño de transformación es pequeño es raramente seleccionada, y es desperdiciada la información adicional que es necesaria para la selección del tamaño de transformación. De manera especial, cuando la diferencia es incrementada en la magnitud entre un gran tamaño de partición y un pequeño tamaño de transformación debido a la expansión del tamaño de partición más grande, se vuelve difícil que un tamaño de transformación más pequeño sea seleccionado.

De acuerdo con la Literatura sin Patente 2, la transformación de frecuencia puede ser seleccionada cuyo tamaño de transformación es el mismo que el tamaño de la partición para una partición rectangular. Sin embargo, la Literatura sin Patente 2 no se refiere a algo acerca de qué criterio es utilizado para determinar los tamaños de transformación que pueden ser seleccionados cuando son adicionalmente agregados tipos de tamaño de transformación.

La presente invención fue concebida en vista de las circunstancias anteriores y un objetivo de la misma es proporcionar un aparato de codificación de video que permite que la cantidad de códigos de información adicional sea reducida mientras se mantiene la posibilidad que el tamaño de partición y el tamaño de transformación que son adaptivos a la propiedad local de un video puedan ser seleccionados cuando varios tamaños de partición y varios tamaños de transformación se encuentren disponibles en el aparato de codificación de video. Otro objetivo de la misma es proporcionar un aparato de decodificación de video que sea capaz de decodificar los datos codificados que son codificados a través del aparato de codificación de video.

Medios para Resolver los Problemas Un primer medio técnico de acuerdo con la presente invención es un aparato de codificación de video que divide un video de entrada en bloques de tamaño predeterminado y ejecuta un procesamiento de codificación para cada bloque, que comprende: una porción de determinación de parámetro de predicción que determina una estructura de partición del bloque; una porción de producción de imagen predictiva que produce una imagen predictiva para cada partición especificada por la estructura de partición; una porción de producción de coeficiente de transformación que aplica cualquiera una de las transformaciones incluidas en la transformación predeterminada preestablecida en un residual de predicción que es una diferencia entre la imagen predictiva y el video de entrada; una porción de derivación de candidata de transformación que determina una lista de candidatas de transformación que es una lista de transformaciones aplicables en función de la información de forma de partición; una porción de determinación de transformación de frecuencia que determina, para cada uno de los bloques, un aviso de selección de transformación que indica las transformaciones que serán aplicadas al residual de predicción en el bloque de entre las transformaciones incluidas en la lista de candidatas de transformación; y una porción de codificación de longitud variable que codifica de longitud variable el aviso de selección de transformación en función de la lista de candidatas de transformación.

Un segundo medio técnico es el aparato de codificación de video del primer medio técnico, que además comprende una porción de derivación de restricción de transformación que produce una lista de transformación prohibida que es una lista de transformaciones que no pueden ser aplicadas a cada partición en función de la información de forma de partición, en donde la porción de codificación de longitud variable codifica de longitud variable el aviso de selección de transformación en función de la lista de candidatas de transformación que es derivada en función de la lista de transformación prohibida y la transformación preestablecida .

Un tercer medio técnico es el aparato de codificación de video del primer o segundo medios técnicos, en donde la información de forma de partición es la relación de una longitud longitudinal con una longitud lateral de una partición, o una relación de magnitud entre la longitud longitudinal y la longitud lateral de la partición.

Un cuarto medio técnico es el aparato de codificación de video de cualquiera del primer al tercer medios técnicos, en donde la estructura de partición es expresada por una estructura de capa, y especifica que cada partición es incluida en cualquier capa que corresponda con la forma de la partición, y la información de forma de partición incluye una capa a la que pertenece la partición.

Un quinto medio técnico es el aparato de codificación de video de cualquiera del primer al quarto medios técnicos, en donde la transformación predeterminada preestablecida incluye por lo menos una transformación cuyo tamaño de transformación es un cuadro y por lo menos una transformación cuyo tamaño de transformación es un rectángulo lateralmente largo, o un rectángulo longitudinalmente largo, cuando una longitud lateral de la partición es más larga que la longitud longitudinal de la misma, la porción de derivación de candidata de transformación incluye al menos una transformación de rectángulo lateralmente largo en la lista de candidatas de transformación, cuando una longitud longitudinal de una partición es más larga que la longitud lateral de la misma, la porción de derivación de candidata de transformación incluye al menos una transformación de rectángulo longitudinalmente largo en la lista de candidatas de transformación, y cuando una longitud longitudinal de la partición es igual a la longitud lateral de la misma, la porción de derivación de candidata de transformación incluye al menos una transformación de cuadro en la lista de candidatas de transformación.

Un sexto medio técnico es el aparato de codificación de video de cualquiera del primer al quinto medios técnicos, en donde la transformación predeterminada preestablecida incluye por lo menos una o más transformaciones cuyo tamaño de transformación es un rectángulo lateralmente largo cuya altura es un píxel, y cuando la longitud lateral de la partición es más larga que la longitud longitudinal de la misma, la porción de derivación de candidata de transformación incluye en la lista de candidatas de transformación una transformación cuyo tamaño de transformación es un rectángulo lateralmente largo cuya altura es de un píxel .

Un séptimo medio técnico es el aparato de codificación de video de cualquiera del segundo al sexto medios técnicos, en donde la transformación predeterminada preestablecida incluye por lo menos dos o más transformaciones cuyos tamaños de transformación están en forma mutua en una relación análoga, y cuando cada uno de los valores más pequeños de la longitud longitudinal y la longitud lateral de la partición es igual o más grande qüe un valor predeterminado de umbral, la porción de derivación de restricción de transformación incluye en la lista de transformación prohibida una transformación cuyo tamaño de transformación es el más pequeño entre aquellos de las transformaciones que tienen el tamaño de transformación que soporta una relación análoga entre sí.

Un octavo medio técnico es el aparato de codificación de video de cualquiera del cuarto al séptimo medios técnicos, en donde la transformación predeterminada preestablecida incluye una primera transformación y una segunda transformación que tiene una relación de magnitud igual entre la longitud longitudinal y la longitud lateral en el tamaño de transformación a la de la primera transformación y que tiene un tamaño de transformación más pequeño que el de la primera transformación, la estructura de partición es expresada por una estructura de capa y es especificada de manera que cada partición es incluida en cualquier capa que corresponda con la forma de la partición, y la porción de derivación de candidata de transformación incluye la primera transformación en la lista de candidatas de transformación y no incluye la segunda transformación en la lista de candidatas de transformación cuando la partición pertenece a una capa predeterminada que no es la capa más inferior, e incluye la segunda transformación en la lista de candidatos de transformación cuando la partición pertenece a una capa inferior que la capa predeterminada que no es la capa más inferior .

Un noveno medio técnico es el aparato de decodificación de video que ejecuta un procesamiento de decodificación para los datos codificados ingresados para cada bloque, que comprende: una porción de decodificación de longitud variable que decodifica una estructura de partición de un bloque que será procesado a partir de los datos codificados ingresados; una porción de producción de imagen predictiva que produce una imagen predictiva para cada partición que es especificada por la estructura de partición; y una porción de derivación de candidata de transformación que determina una lista de candidatas de transformación que es una lista de transformaciones aplicables en función de la información de forma de partición, en donde la porción de decodificación de longitud variable decodifica un aviso de selección de transformación en función de los datos decodificados ingresados y la lista de candidatas de transformación, así como también, decodifica un coeficiente de transformación del bloque que será procesado en función del aviso de selección de transformación, el aparató de decodificación de video además comprende: una porción de reconstrucción de residual de predicción que reconstruye un residual de predicción mediante la aplicación de transformaciones inversas al coeficiente de transformación, las transformaciones inversas corresponden con las transformaciones, las transformaciones son especificadas por el aviso de selección de transformación; y una porción de producción de imagen decodificada local que da salida a los datos decodificados de imagen en función de la imagen predictiva y el residual de predicción, los datos decodificados de imagen corresponden con el bloque que será procesado .

Un décimo medio técnico es el aparato de decodificación de video del noveno medio técnico, que además comprende una porción de derivación de restricción de transformación que produce una lista de transformación prohibida que es una lista de transformaciones que no pueden ser aplicadas a cada partición en función de la información de forma de partición, en donde la porción de decodificación de longitud variable decodifica de longitud variable el aviso de selección de transformación en función de la lista de candidatas de transformación que es derivada en función de la lista de transformación prohibida y la transformación preestablecida .

Un decimoprimer medio técnico es el aparato de decodificación de video de cualquiera del noveno o décimo medios técnicos, en donde la información de forma de partición es la relación de la longitud longitudinal con la longitud lateral de una partición, o la relación de magnitud entre la longitud longitudinal y la longitud lateral de la partición .

Un decimosegundo medio técnico es el aparato de decodificación de video de cualquiera del noveno al decimoprimer medios técnicos, en donde la estructura de partición es expresada por una estructura de capa, y especifica que cada partición es incluida en cualquier capa, y la información de forma de partición incluye una capa a la que pertenece la partición.

Un decimotercer medio técnico es el aparato de decodificación de video de cualquiera del noveno al decimosegundo medios técnicos, en donde la transformación predeterminada preestablecida incluye por lo menos una transformación cuyo tamaño de transformación es un cuadro y por lo menos una transformación cuyo tamaño de transformación es un rectángulo lateralmente largo, o un rectángulo longitudinalmente largo, cuando una longitud lateral de la partición es más larga que la longitud longitudinal de la misma, la porción de derivación de candidata de transformación deriva una lista de candidatas de transformación que incluye por lo menos una transformación de rectángulo lateralmente largo, cuando la longitud longitudinal de la partición es más larga que la longitud lateral de la misma, la porción de derivación de candidata de transformación deriva una lista de candidatas de transformación que incluye al menos una transformación de rectángulo longitudinalmente largo, y cuando la longitud longitudinal de la partición es igual a la longitud lateral de la misma, la porción de derivación de candidata de transformación deriva una lista de candidatas de transformación que incluye al menos una transformación de cuadro.

Un decimocuarto medio técnico es el aparato de decodificación de video de cualquiera del décimo al decimotercer medio técnico, en donde la transformación predeterminada preestablecida incluye por lo menos dos o más transformaciones cuyos tamaños de transformación están en forma mutua en una relación análoga, y cuando cada uno de los valores más pequeños de la longitud longitudinal y la longitud lateral de la partición es igual o más grande que un valor predeterminado de umbral, la porción de derivación del candidato de transformación deriva una lista de candidatas de transformación que excluye una transformación cuyo tamaño de transformación es el más pequeño entre aquellos de las transformaciones que soportan una relación análoga entre sí.

Un decimoquinto medio técnico es un aparato de decodificación de video de cualquiera del decimosegundo al decimocuarto medios técnicos, en donde la transformación predeterminada preestablecida incluye una primera transformación y una segunda transformación que tiene una relación de magnitud igual entre la longitud longitudinal y la longitud lateral en el tamaño de transformación a la de la primera transformación y que tiene un tamaño de transformación más pequeño que el de la primera transformación, la estructura de partición es expresada por una estructura de capa y es especificada de manera que cada partición es incluida en cualquier capa que corresponda con la forma de la partición, y la porción de derivación de candidata de transformación incluye la primera transformación y excluye la segunda transformación de la lista de candidatas de transformación cuando la partición pertenece a una capa predeterminada que no es la capa más inferior, e incluye la segunda transformación en la lista de candidatas de transformación cuando la partición pertenece a una capa más baja que la capa predeterminada que no es la capa más inferior .

Efectos de la Invención De acuerdo con el aparato de codificación de video de la presente invención, una cantidad de códigos de información adicional es capaz de ser reducida mientras se mantiene la posibilidad en un alto nivel que el tamaño de transformación adecuado a la propiedad local del video es capaz de ser seleccionado; y además, la , cantidad de procesamiento del procesamiento de codificación es capaz de ser reducida limitando los tamaños de transformación que pueden ser seleccionados en tamaños altamente efectivos cuando es seleccionado un tamaño específico de partición. De acuerdo con el aparato de decodificación de la presente invención, los datos codificados son capaces de ser decodificados de manera que sean codificados a través del aparato de codificación de video.

Breve Descripción de las Figuras La Figura 1 es un diagrama que explica las definiciones de un macrobloque expandido (MB) y una secuencia de procesamiento.

La Figura 2 es un diagrama de bloque de una modalidad de un aparato de codificación de video de la presente invención.

La Figura 3 es un diagrama que explica las definiciones de una estructura de capa de partición y una secuencia de procesamiento.

La Figura 4 es un diagrama de flujo que explica un ejemplo del procesamiento de producción de una lista de transformación prohibida.

La Figura 5 es un diagrama de flujo que explica otro ejemplo del procesamiento de producción de la lista de transformación prohibida.

Las Figuras 6a-6f son diagramas que explican la división de partición ejecutada cuando es producida la lista de transformación prohibida.

Las Figuras la-Te son otros diagramas que explican la división de partición ejecutada cuando es producida la lista de transformación prohibida.

La Figura 8 es un diagrama de flujo que explica todavía otro ejemplo del procesamiento de producción de la lista de transformación prohibida.

La Figura 9 es un diagrama que explica un ejemplo específico del procesamiento de producción de la lista de transformación prohibida.

La Figura 10 es un diagrama de flujo que explica un procesamiento de producción de datos codificados de ejemplo para un aviso de selección de transformación.

La Figura 11 es un diagrama de bloque de una modalidad del aparato de decodificación de video de la presente invención.

La Figura 12 es un diagrama de bloque de otra modalidad del aparato de codificación de video de la presente invención .

La Figura 13 es un diagrama de flujo que explica un ejemplo del procesamiento de producción de una lista de candidatas de transformación.

La Figura 14 es un diagrama de bloque de otra modalidad del aparato de decodificación de video de la presente invención.

La Figura 15 es un diagrama de bloque todavía de otra modalidad del aparato de codificación de video de la presente invención.

La Figura 16 es un diagrama de bloque todavía de otra modalidad del aparato de decodificación de video de la presente invención.

Descripción Detallada de la Invención (Primera Modalidad) Un aparato de codificación de video 10 y un aparato de decodificación de video 20 que son una modalidad de un aparato de codificación de video y un aparato de decodificación de video de acuerdo con la presente invención, serán descritos con referencia a las Figuras 1-11. En la descripción de estas figuras, los mismos números de referencia son dados a los mismos componentes y las descripciones de los mismos componentes son omitidas.

En la siguiente descripción, se supone que los videos de entrada son ingresados, de manera secuencial, al aparato de codificación de video a través del MB expandido que es configurado por 64x64 píxeles y el procesamiento es ejecutado para el mismo. El orden de entrada de los MBs expandidos se supone que será el orden de una exploración total de imagen como se muestra en la Figura 1. Sin embargo, la presente invención es aplicable al caso en donde el tamaño del MB expandido es diferente de aquellos con anterioridad. De manera especial, la presente invención es efectiva para los MBs expandidos que tienen un tamaño más grande que un tamaño de 16x16 píxeles que es una cantidad de unidad que será procesada en forma amplia utilizada en la presente.

Se supone que el procesamiento ejecutado en los aparatos de codificación de video y los aparatos de decodificación de video en la siguiente descripción es realizado en función de la H.264/AVC, y que las porciones no mencionan, de manera específica, las operaciones después de las operaciones de acuerdo con la H.264/AVC. Sin embargo, el sistema de codificación de video en el que es aplicable la presente invención no es limitado a la H.264/AVC y la presente invención es aplicable en sistemas que son similares a la H.264/AVC tales como VC-1, MPEG-2, y AVS, y otro sistema de codificación de video que emplea el procesamiento para cada bloque o una transformación de frecuencia. <Configuración del Aparato de Codificación de Video 10> La Figura 2 es un diagrama de bloque de la configuración del aparato de codificación de video 10. El aparato de codificación de video 10 incluye una memoria de cuadro 101, una porción de determinación de parámetro de predicción 102, una porción de producción de imagen predictiva 103, una porción de derivación de restricción de transformación 104, una porción de determinación de transformación de frecuencia 105, una porción de producción de residual de predicción 106, una porción de producción de coeficiente de transformación 107, una porción de codificación de longitud variable 108, una porción de reconstrucción de residual de predicción 109 y una porción de producción de imagen decodificada local 110. <Memoria de Cuadro 101> La memoria de cuadro 101 tiene una imagen decodificada local grabada en la misma. La "imagen decodificada local" es una imagen que es producida agregando una imagen predictiva al residual de predicción que es reconstruido mediante la aplicación de una transformación de frecuencia inversa a un coeficiente de transformación. En el momento cuando es procesado un MB expandido específico de un cuadro específico del video de entrada, una imagen decodificada local para un cuadro que es codificado antes del cuadro que será procesado y una imagen decodificada local que corresponde con el MB expandido que es codificado antes de que el MB expandido sea procesado, son grabadas en la memoria de cuadro 101. Se supone que la imagen decodificada local grabada en la memoria de cuadro 101 puede ser leída, de manera adecuada, por cada uno de los componentes en el aparato . <Porción de Determinación de Parámetro de Predicción 102 (Definición de Estructura de Partición, Descripción de la Determinación de Modo) > La porción de determinación de parámetro de predicción 102 determina un parámetro de predicción en función de la propiedad local del video de entrada y da salida al parámetro de predicción. El parámetro de predicción incluye por lo menos una estructura de partición que expresa la estructura de las particiones que son aplicadas en cada porción en un MB expandido, y la información de movimiento para la inter-predicción (un vector de movimiento y un índice de una imagen decodificada local que será referido (el índice de imagen de referencia) ) . El parámetro de predicción también podría incluir el modo de intra-predicción que indica un método de producción de imagen predictiva para la intra-predicción.

Los detalles de la estructura de partición serán descritos con referencia a la Figura 3. La estructura de partición es expresada por una estructura jerárquica. Una capa en la cual 64x64 píxeles es manejada como una cantidad de unidad para el procesamiento es definida como la "capa LO" . Una capa en la cual 32x32 píxeles es manejada como una cantidad de unidad para el procesamiento es definida como la "capa Ll" . Una capa en la cual 16x16 píxeles es manejada como una cantidad de unidad para el procesamiento es definida como la "capa L2" . Una capa en la cual 8x8 píxeles es manejada como una cantidad de unidad para el procesamiento es definida como la "capa L3" . En cada capa, cualquier tipo de divisiones puede ser seleccionado como un método de división para las mismas, que son una división que no ejecuta ninguna división, dos divisiones horizontales que dividen el área en dos áreas iguales utilizando una línea recta en la dirección horizontal, dos divisiones verticales que dividen el área en dos áreas iguales utilizando una línea recta en la dirección vertical, y cuatro divisiones que dividen el área en cuatro áreas iguales utilizando dos líneas rectas en la dirección horizontal y la dirección vertical. Una capa cuya unidad de procesamiento es grande es referida como la "capa superior" y una capa cuya unidad de procesamiento es pequeña es referida como "capa inferior" . En la modalidad, la capa LO es la capa más superior y la capa L3 es la capa más inferior. La estructura de partición es expresada identificando el método de división en cada capa, de manera secuencial, a partir de la capa LO que es la capa más superior. De manera más específica, la estructura de partición puede ser únicamente expresada de acuerdo con el siguiente procedimiento.

(Etapa S10) Cuando el método de división para la capa LO es cualquiera de una división, de dos divisiones horizontales y de dos divisiones verticales, el área expresada que utiliza el método de división es determinada para que sea la partición de la unidad de procesamiento n la capa LO. Cuando el método de división es de cuatro divisiones, la partición es determinada de acuerdo con la etapa Sil para cada una de las áreas divididas. (Etapa Sil) Cuando el método de división para la capa Ll es cualquiera de una división, de dos divisiones horizontales y de dos divisiones verticales, el área expresada que utiliza el método de división es determinada para que sea una partición de la unidad de procesamiento en la capa Ll . Cuando el método de división es de cuatro divisiones, una partición es determinada de acuerdo con la etapa 12 para cada una de las áreas divididas .

(Etapa S12) Cuando el método de división para la capa L2 es cualquiera de una división, dos divisiones horizontales y dos divisiones verticales, el área expresada que utiliza el método de división es determinada para que sea una partición de la unidad de procesamiento en la capa L2. Cuando el método de división es de cuatro divisiones, una partición es determinada de acuerdo con la etapa 13 para cada una de las áreas divididas. (Etapa S13) El área expresada que utiliza el método de división para la capa L3 es determinada para que sea una partición de la unidad de procesamiento en la capa L3.

El orden de procesamiento de cada partición en el MB expandido será descrito. Como es representado en la Figura 3, en cada capa, el procesamiento es ejecutado en el orden de exploración total de imagen sin considerar el método de división. Sin embargo, cuando son seleccionadas las cuatro divisiones como el método de división en una capa diferente de la capa más inferior (la capa L3), la partición expresada para la capa inferior es procesada en el orden de exploración total de imagen para cada una de las áreas adquiridas por las cuatro divisiones. En porciones que serán posteriormente descritas, el orden de procesamiento anterior será aplicado cuando se realice el procesamiento en una partición en un MB expandido .

Una capa Lx a la cual pertenece la partición p es derivada de acuerdo con el siguiente procedimiento. (Etapa S20) Cuando el tamaño de la partición p es igual al tamaño de una partición que es producida por una división, las dos divisiones horizontales o las dos divisiones verticales de una capa específica Ly, el valor de Lx es establecido para que sea "Ly" . (Etapa S21) En el caso diferente del anterior, el valor de Lx es establecido para que sea "L3" (Lx es establecido para que sea la capa más inferior) . <Descripción de la Forma de Partición> La información que caracteriza cada partición que pertenece a la estructura de partición, es decir, el tamaño de partición, la información que indica la configuración del tamaño de partición, o la capa en la estructura de partición es referida como la "información de forma de partición" . Todos estos artículos son cada uno la información de forma de partición, tal como por ejemplo, el tamaño de partición por sí mismo tal como 32x32, la información que indica si el tamaño de partición es más grande que un tamaño de partición específico, la relación de la longitud longitudinal con la longitud lateral de la partición, la relación de magnitud entre la longitud longitudinal y la longitud lateral de la partición, el valor mínimo y el valor máximo de la longitud longitudinal y la longitud lateral de la partición, y la capa a la que pertenece la partición.

El parámetro de predicción es determinado por una determinación de distorsión de relación. En la determinación de distorsión de relación, para cada candidato de parámetro de predicción, la cantidad de códigos de los datos codificados adquiridos cuando es codificado el MB expandido que será procesado utilizando el parámetro de predicción, es calculada y el costo es referido como el "costo de distorsión de relación" es calculado a partir de la imagen decodificada local y la distorsión del video de entrada, y el parámetro de predicción es seleccionado de manera que minimiza el costo. El costo de distorsión de relación es calculado para todas las combinaciones posibles de las estructuras de partición y las piezas de información de movimiento que son los parámetros de predicción. La mejor combinación de los mismos es determinada para que sea el parámetro de predicción. Denotando la cantidad de códigos de los datos codificados del MB expandido como "R" y un error promedio cuadrado entre el video de entrada y la imagen decodificada local que corresponden con el MB expandido como "D" el costo de distorsión de relación C puede ser calculado de acuerdo con la ecuación C=D+ R utilizando un parámetro ? que representa la relación entre la cantidad de códigos R y el error D.

De acuerdo con la determinación de distorsión de relación, el parámetro de predicción que es adecuado para la codificación del MB expandido que será procesado, es decir, una estructura de partición adecuada y la información de movimiento que corresponde con cada partición son determinadas y generadas .

Cuando el costo de distorsión de relación es calculado para un parámetro de predicción específico, la transformación de frecuencia no podría ser únicamente determinada que es aplicada al MB expandido que será procesado. En este caso, el costo de distorsión de relación puede ser utilizado como un costo de distorsión de relación que es adquirido cuando es aplicada una transformación de frecuencia específica, o un costo de distorsión de relación mínimo puede ser utilizado de manera que es adquirido cuando son aplicadas todas de una pluralidad de transformaciones de frecuencia . <Porción de Producción de Imagen Predictiva 103> La porción de producción de imagen predictiva 103 produce una imagen predictiva del MB expandido que será procesado en función del parámetro de predicción entrado en la misma, y da salida a la imagen predictiva. La producción de la imagen predictiva es ejecutada de acuerdo con el siguiente procedimiento. (Etapa S30) En función de la estructura de partición incluida en el parámetro de predicción, el MB expandido es dividido en particiones y una imagen predictiva para cada una de las particiones es producida de acuerdo con la etapa 31. (Etapa S31) La información de movimiento que corresponde con la partición que será procesada, es decir, el vector de movimiento y el índice de imagen de referencia son leídos a partir del parámetro de predicción. En la imagen decodificada local indicada por el índice de imagen de referencia, la imagen predictiva es producida a través de la predicción de compensación de movimiento en función del valor de píxel del área representada por el vector de movimiento. <Porción de Producción de Residual de Predicción 106> La porción de producción de residual de predicción 106 produce un residual de predicción de un B expandido en función del video de entrada y la imagen predictiva que son ingresados a la misma y da salida al residual de predicción. Un residual de predicción son datos de dos dimensiones que tienen el mismo tamaño que el del MB expandido y cada elemento del mismo es un valor de diferencia entre un píxel del video de entrada y un correspondiente píxel de la imagen predictiva . <Porción de Producción de Coeficiente de Transformación 107> La porción de producción de coeficiente de transformación 107 aplica la transformación de frecuencia al residual de predicción en función del residual de predicción y un aviso de selección de transformación que son ingresados en la misma, con lo cual, produce un coeficiente de transformación, y da salida al coeficiente de transformación. Un aviso de selección de transformación indica la transformación de frecuencia que será aplicada en cada partición del MB expandido. La porción de producción de coeficiente de transformación 107 selecciona la transformación de frecuencia indicada por el aviso de selección de transformación para cada partición en el MB expandido y aplica la transformación de frecuencia seleccionada al residual de predicción. La transformación de frecuencia indicada por el aviso de selección de transformación es cualquiera una de las transformaciones de frecuencia incluidas en un conjunto (transformación preestablecida) de todas las transformaciones de frecuencia que son aplicables a través de la porción de producción de coeficiente de transformación 107.

La transformación preestablecida en la modalidad incluye nueve tipos de transformaciones de frecuencia que son una DCT 4x4, una DCT 8x8, una DCT 16x16, una DCT 16x8, una DCT 8x16, una DCT 16x1, una DCT 1x16, una DCT 8x1 y una DCT 1X8. Cada una de las transformaciones de frecuencia especificadas en la presente corresponde con una DCT (Transformada del coseno Discreto) que tiene un tamaño de transformación específico (por ejemplo, la DCT 4x4 corresponde con una transformada del coseno discreto cuyo tamaño de transformación es de 4x4 píxeles) . La presente invención no sólo se limita al conjunto de las transformaciones de frecuencia anteriores, y también puede ser adaptada a cualquier subconjunto de las transformaciones preestablecidas. Las transformaciones de frecuencia que incluyen transformadas del coseno discreto que tienen otros tamaños de transformación, por ejemplo, una DCT 32x32 y una DCT 64x64, podrían ser incluidas en la transformación preestablecida. Las transformaciones de frecuencia .diferentes de la transformada del coseno discreto, tales como por ejemplo, una transformada de Hadamard, una transformada del seno y una transformada de tren de ondas, o las transformaciones de frecuencia que incluyen transformaciones que se aproximan a estas transformaciones, podrían ser incluidas en la transformación preestablecida.

El procesamiento que aplica una transformación de frecuencia que tiene un tamaño de transformación de WxH a una partición de MxN pixeles es el procesamiento que es indicado por un pseudo-código como sigue. El área R (x, y, w, h) significa un área que está presente en una posición desplazada hacia la derecha por x pixeles y hacia abajo por y pixeles a partir del punto más superior y más inferior en una partición como el punto de inicio y que tiene un ancho de w pixeles y una altura de h pixeles. para (j=0, j<N, j+=H) { para (i=0, i<M, i+=W) { La transformación de frecuencia es aplicada en el área R (i, j , W, H) } } ; <Porción de Derivación de Restricción de Transformación 104 > La porción de derivación de restricción de transformación 104 deriva una restricción que se refiere a la transformación de frecuencia que puede ser seleccionada en cada partición en el MB expandido como una restricción de transformación en función del parámetro de predicción que es entrado en la misma, y da salida a la restricción de transformación. La porción de derivación de restricción de transformación 104 deriva la restricción de transformación de cada partición en función de la información de forma de partición de la partición que es determinada por el parámetro de predicción.

La restricción de transformación es definida como un conjunto de listas de transformación prohibida que son correlacionadas con las posiciones en el MB expandido. Una lista de transformación prohibida incluye como sus elementos las transformaciones de frecuencia que no pueden ser seleccionadas por su partición correlacionada (las transformaciones de frecuencia prohibidas) de las transformaciones de frecuencia que son incluidas en la transformación preestablecida. En otras palabras, el resto que es obtenido mediante la extracción de los elementos de la lista de transformación prohibida a partir de los elementos de la transformación preestablecida constituye un conjunto de las transformaciones de frecuencia que pueden ser seleccionadas- para la partición correlacionada (la lista de candidatas de transformación) .

La lista de transformación prohibida y la lista de candidatas de transformación pueden ser indicadas a través de la información de conjunto de transformación que incluye la información que indica si cada transformación es incluida en el conjunto. La denotación del número de transformaciones incluidas en la transformación preestablecida como "Nt" , el número de combinaciones de las transformaciones es la potencia Nt-th de dos y por lo tanto, las transformaciones incluidas en el conjunto pueden ser expresadas por la información de conjunto de transformación que tiene el intervalo de valores de cero a 2Nt"1 (la potencia Nt-th de 2 menos uno) . No todas las combinaciones de las transformaciones siempre necesarias para ser expresadas por la información de conjunto de transformación y el valor que corresponde con la combinación podrían ser expresadas . En un ejemplo directo, cuando la transformación preestablecida sólo incluye la DCT 4x4 y la DCT 8x8, puede ser expresada una lista de prohibición a través de un aviso de 1 bit que indica si es prohibida la DCT 4x4 (o la DCT 8x8) . La lista de candidatas de transformación también puede ser expresada por valores de cero a dos al relacionar, de manera respectiva, la DCT 4x4 con cero, una combinación de la DCT 4x4 y la DCT 8x8 con uno y la DCT 8x8 con dos .

El significado de la información de conjunto de transformación podría ser cambiado para cada una de la capa, la partición, una combinación de bloques, etcétera. El mismo valor de "cero" de la información de conjunto de transformación podría significar la DCT 16x16 para la capa LO, la DCT 8x8 para la capa Ll y la DCT 4x4 para la capa L2. Cada una de la lista de transformación prohibida y la lista de candidatas de transformación puede ser expresada utilizando valores en un intervalo pequeño al cambiar el significado de los valores de la información de conjunto de transformación .

Por lo tanto, se supone que la restricción de transformación y la lista de candidatas de transformación en la presente invención son consideradas iguales a la información de conjunto de transformación que indica la restricción de transformación y la candidata de transformación sin que sean desviadas por el término "lista" .

Una lista de transformación prohibida Lp para una partición específica p es producida de acuerdo con el siguiente procedimiento. Se supone que el tamaño de la partición p es MxN pixeles (M pixeles en dirección lateral y N pixeles en dirección longitudinal) y que la partición p pertenece a la capa Lx.

(Etapa S40) Lp es establecida para que sea vacía. (Etapa S41) La transformación de frecuencia es agregada a Lp, cuyo tamaño de transformación es más grande que MxN pixeles. (Etapa S42) La transformación de frecuencia es agregada a Lp que es determinada que corresponde con el valor de Min(M, N) . (Etapa S43) La transformación de frecuencia es agregada a Lp, que es determinada que corresponde con el valor de M÷N. (Etapa S44) La transformación de frecuencia es determinada dependiendo del valor de la capa Lx que es agregado a Lp.

Se observa que la información de forma de partición incluye la información indica si el tamaño de transformación es más grande que MxN píxeles, el valor de Min(M, N) , el valor de M÷N y el valor de la capa Lx . <Limitación del Tamaño de Transformación de Acuerdo con Min (M, N) > Un procedimiento más detallado de la Etapa S42 será descrito con referencia al diagrama de flujo de la Figura 4. (Etapa S50) Cuando Min(M, N) es igual o más grande que un valor predeterminado de umbral Thl (por ejemplo, Thl es Thl= 16 píxeles) el procedimiento es avanzado hacia la Etapa S51, y cuando Min(M, N) toma otro valor, el procedimiento es avanzado a la Etapa S52. (Etapa S51) Cuando existen dos o más transformaciones de frecuencia que tienen tamaños de transformación en una relación análoga en una lista de transformación de frecuencia, la transformación de frecuencia, cuyo tamaño de transformación es el más pequeño (la DCT 4x4, la DCT 8x8 o la DCT 1X8) en un conjunto de las transformaciones de frecuencia que tienen los tamaños de transformación en una relación análoga, es agregada a Lp, y el .procedimiento es avanzado a la Etapa S52. La relación análoga en este caso incluye una relación de similitud. Por ejemplo, los tamaños de transformación tales como 16x16, 8x8 y 4x4 en la transformación preestablecida de la modalidad se encuentran en una relación análoga. La relación análoga también incluye una relación análoga aproximada. Por ejemplo, los tamaños de transformación de 16x1 y 8x1 y los tamaños de transformación de 1x16 y 1x8 en la transformación preestablecida de la modalidad se encuentran en una relación análoga. Aunque no es aplicado en la siguiente descripción, las transformaciones de frecuencia pueden ser clasificadas en tres categorías de un cuadro, un rectángulo longitudinalmente largo y un rectángulo lateralmente largo en función de los tamaños de los mismos y las transformaciones de frecuencia que pertenecen a cada una de las categorías pueden ser consideradas que se encuentran en una relación análoga.

(Etapa S52) Cuando Min(M, N) es igual o más grande que un valor predeterminado de umbral Th2 (por ejemplo, Th2 es Th2= 32 píxeles) , el procedimiento es avanzado a la Etapa S53, y en otros casos, el procedimiento llega a la finalización. (Etapa S53) Cuando existen tres o más transformaciones de frecuencia que tienen tamaños de transformación en una relación análoga en la transformación preestablecida, la transformación de frecuencia, cuyo tamaño de transformación es el segundo más pequeño (la DCT 8x8) en cada combinación de las transformaciones de frecuencia que tienen los tamaños de transformación en la relación análoga, es agregada a Lp, y el procesamiento llega a su fin. Sin embargo, Thl y Th2 son Th2>Thl.

La partición es una unidad de compensación de movimiento. La configuración de partición es determinada, de manera que los movimientos entre los cuadros de la imagen en la partición son uniformes para producir una imagen predictiva que es una partición producida mediante la porción que utiliza los vectores de movimiento cerca de la imagen predictiva. Una gran partición es distribuida a un objeto grande (o una porción del mismo) en el video de entrada y una porción pequeña es distribuida a un objeto pequeño en la misma. De manera general, en el video de entrada, la correlación espacial de los valores de píxel en el área que corresponde con un objeto grande es alta si se compara con la correlación espacial de los valores de píxel del área que corresponde con objeto pequeño. Por lo tanto, es efectiva la transformación de frecuencia cuyo tamaño de transformación es grande si se compara con la transformación de frecuencia cuyo tamaño de transformación es pequeño para una gran partición. Por lo tanto, aún cuando es determinada una transformación de frecuencia cuyo tamaño de transformación es en cierto modo pequeño por ser una transformación prohibida para una gran partición, la cantidad de los códigos de los .datos decodificados no es incrementada, de manera sustancial. <Limitación del Tamaño de Transformación de Acuerdo con el Valor de M÷N> Un procedimiento más detallado de la Etapa S43 será descrito con referencia al diagrama de flujo de la Figura 5. (Etapa S60) Cuando el valor de M÷N es igual o más grande de dos (la longitud lateral de la partición p es dos o más veces tanto como la longitud de la longitud longitudinal de la misma) , el procedimiento es avanzado a la Etapa S61, y en otros casos, el procedimiento es avanzado a la Etapa S63. (Etapa S61) Todas las transformaciones de frecuencia que tienen tamaños de transformación de cuadro (la DCT 4x4, la DCT 8x8 y la DCT 16x16) son agregadas a Lp, y el procedimiento es avanzado a la Etapa S62. (Etapa S62) Las transformaciones de frecuencia cuyas longitudes longitudinales de sus tamaños de transformación son más grandes que la longitud lateral de las mismas (la DCT 8x16 y la DCT 1x16) son agregadas a Lp, y el procedimiento llega a su fin.

(Etapa S63) Cuando el valor de ÷N es igual o más pequeño que 0.5 (la longitud longitudinal de la partición p es dos o más veces tan larga como la longitud lateral de la misma), el procedimiento es avanzado a la Etapa S64, y en otros casos, el procedimiento es avanzado a la Etapa S66. (Etapa S64) Todas las transformaciones de frecuencia que tienen tamaños de transformación de cuadro (la DCT 4x4, la DCT 8x8 y la DCT 16x16) son agregadas a Lp, y el procedimiento es avanzado a la Etapa S65. (Etapa S65) Las transformaciones de frecuencia cuyas longitudes laterales de sus tamaños de transformación son más largas que la longitud longitudinal de las mismas (la DCT 16x8 y la DCT 16x1) son agregadas a Lp, y el procedimiento llega a su fin.

(Etapa S66) Cuando el valor de M÷N es igual a uno (las longitudes lateral y longitudinal de la partición p son iguales), el procedimiento es avanzado a la Etapa S67, y en otros casos, el procedimiento llega a su fin. (Etapa S67) Las transformaciones de frecuencia que tienen tamaños de transformación que a su vez tienen longitudes laterales y longitudes longitudinales que son diferentes entre sí (la DCT 16x8, la DCT 16x1, la DCT 8x16 y la DCT 1x16) son agregadas a Lp.

La intención de las Etapas S61 y S62 será descrita con referencia a las Figuras 6a-6f. Como representado en la Figura 6a, se supone que los objetos (un objeto de primer plano O y un segundo plano B) están presentes en una unidad de procesamiento U, en una capa y un límite entre el objeto de primer plano 0 y el segundo plano B está presente en la porción inferior de la unidad de procesamiento U. En este caso, es seleccionada la partición del rectángulo lateralmente largo en el cual el valor de M÷N es igual o más grande de dos como representado en la Figura 6b. En contraste, no es seleccionada la partición del rectángulo longitudinalmente largo como es representado en la Figura 6c.

La relación entre el tamaño de transformación y la cantidad de códigos de los datos codificados para una partición que incluye tanto el segundo plano B como el objeto de primer plano 0 en el caso en donde es seleccionada una partición rectangular lateralmente larga, será descrita con referencia a las Figuras 6d-6f. Las Figuras 6d, 6e y 6f representan las relaciones entre la partición y el tamaño de transformación en los casos en donde son aplicados a la partición tamaños de transformación de cuadro, rectangular lateralmente largo y rectangular longitudinalmente largo. Cuando es utilizada la transformación de frecuencia cuyo tamaño de transformación es un cuadro (Figura 6d) o la transformación de frecuencia cuyo tamaño de transformación es un rectángulo longitudinalmente largo (Figura 6f) , el límite tiende a estar presente en el área en la cual es aplicada la transformación de frecuencia.

Por otro lado, cuando es utilizada la transformación de frecuencia que tiene un tamaño de transformación de un rectángulo lateralmente largo (Figura 6e) , el límite raramente se presenta en el área en la cual es aplicada la transformación de frecuencia. Cuando el límite está presente en el área en la cual es aplicada la transformación de frecuencia, la energía no puede ser concentrada en el componente de baja frecuencia del coeficiente de transformación debido a la transformación de frecuencia y por lo tanto, es incrementada la cantidad de códigos requeridos para la codificación del coeficiente de transformación. Por otro lado, cuando ningún límite está presente en el área en la cual es aplicada la transformación de frecuencia, la energía puede ser concentrada en el componente de baja frecuencia del coeficiente de transformación debido a la transformación de frecuencia y por lo tanto, es reducida la cantidad de códigos requeridos para la codificación del coeficiente de transformación. Por lo tanto, para una partición rectangular lateralmente larga, es más efectivo aplicar la transformación de frecuencia cuyo tamaño de transformación es un rectángulo lateralmente largo si se compara con el caso en donde es aplicada la transformación de frecuencia cuyo tamaño de transformación es un cuadro o un rectángulo longitudinalmente largo. Por lo tanto, aún cuando la transformación de frecuencia cuyo tamaño de transformación es un cuadro o un rectángulo longitudinalmente largo es establecida para ser una transformación prohibida para una partición rectangular lateralmente larga, la cantidad de códigos de los datos codificados no es incrementada, de manera sustancial .

La intención de cada una de las Etapas S64 y S65 es la misma que con anterioridad. Incluso cuando la transformación de frecuencia cuyo tamaño de transformación es un cuadro o un rectángulo lateralmente largo es establecida para ser una transformación prohibida para una partición rectangular longitudinalmente larga, la cantidad de códigos de los datos codificados no es incrementada, de manera sustancial .

La intención de la Etapa S66 será descrita con referencia a las Figuras 7a-7e. Como se representa en la Figura 7a, se supone que los objetos (el objeto de primer plano 0 y el segundo plano B) están presentes en una unidad de procesamiento U, en una capa y el límite entre el objeto de primer plano 0 y el segundo plano B está presente en la porción derecha inferior de la unidad de procesamiento U. En este caso, es seleccionada una partición que es un cuadro para adquirir el valor de M÷N para que sea el representado en la Figura 7b.

La relación entre el tamaño de transformación y la cantidad de códigos de los datos codificados para una partición (la partición derecha inferior) que incluye ambos del segundo plano B y el objeto de primer plano O, adquirida cuando es seleccionada una partición del cuadro, será determinada con referencia a las Figuras 7C. Las Figuras 7d y 7e representan las relaciones entre la partición y los tamaños de transformación para los casos en donde son aplicados a la partición derecha inferior tamaños de transformación de cuadro, rectangular lateralmente largo y rectangular longitudinalmente largo. En este caso, cuando es utilizado cualquiera de los tamaños de transformación de un cuadro, un rectángulo longitudinalmente largo y un rectángulo lateralmente largo, la relación de la presencia del límite no varía tanto en el área en la cual es aplicada la transformación de frecuencia. Por lo tanto, para la partición derecha inferior, es pequeña la diferencia la cantidad de códigos de los datos codificados cuando es utilizada la transformación de frecuencia cuyo tamaño de transformación es cualquiera del cuadro, el rectángulo longitudinalmente largo y el rectángulo lateralmente largo.

Por otro lado, sólo el segundo plano B es incluido y ningún límite está presente en una partición diferente de la partición derecha inferior en la unidad de procesamiento U. por lo tanto, cuando es utilizado cualquiera de los tamaños de transformación, ningún límite está presente en el área en la cual es aplicada la transformación de frecuencia. Por lo tanto, puede ser concentrada más energía en el coeficiente de transformación cuando es utilizada la transformación de frecuencia cuyo tamaño de transformación es un cuadro con el cual la relación espacial de los valores de píxel de los residuales de predicción puede ser utilizada en un modo equilibrado en ambas direcciones, la dirección horizontal (dirección lateral) y la dirección vertical (dirección longitudinal) , si se compara con el caso en donde es utilizada la transformación de frecuencia cuyo tamaño de transformación es un rectángulo longitudinalmente largo o un rectángulo lateralmente largo. Por lo tanto, para una partición de cuadro, es más efectiva la transformación de frecuencia cuyo tamaño de transformación es un cuadro que la transformación de frecuencia cuyo tamaño de transformación es un rectángulo lateralmente largo o un rectángulo longitudinalmente largo. Por lo tanto, aún cuando es establecida la transformación de frecuencia cuyo tamaño de transformación es un rectángulo lateralmente largo o un rectángulo longitudinalmente largo para ser una transformación prohibida para una partición de cuadro, la cantidad de códigos de los datos codificados no es incrementada, de manera sustancial. <Limitación del Tamaño de Transformación de Acuerdo con una Capa a la Cual Pertenece la Partición> Un procedimiento más detallado de la Etapa S44 será descrito con referencia al diagrama de flujo de la Figura 8. (Etapa S70) Cuando la capa Lx es la capa más superior, el procedimiento es avanzado a la Etapa S71, y en otros casos, el procedimiento es avanzado a la Etapa S72. (Etapa S71) Las transformaciones de frecuencia diferentes de la transformación de frecuencia que tienen el tamaño de transformación más grande (la DCT 8x8 y la DCT 4x4) de una pluralidad de transformaciones de frecuencia candidatas que tienen los tamaños de transformación cuyas formas (la DCT 16x16, la DCT 8x8 y la DCT 4x4) son agregadas a Lp y el procedimiento llega a su fin. (Etapa S72) Cuando la capa Lx es la capa más inferior, el procedimiento es avanzado a la Etapa S73, y en otros casos, el procedimiento llega a su fin. (Etapa S73) Las transformaciones de frecuencia diferentes de la transformación de frecuencia que tienen el tamaño de transformación más pequeño (la DCT 16x16 y la DCT 8x8) de la pluralidad de transformaciones de frecuencia candidatas que tienen tamaños de transformación cuyas formas (la DCT 16x16, la DCT 8x8 y la DCT 4x4) son agregadas a Lp y el procedimiento llega a su fin.

En el caso en donde las particiones son expresadas por una estructura de capa, aún cuando son restringidas algunas transformaciones de frecuencia cuyos tamaños de transformación son relativamente pequeños para una partición que pertenece a la capa más superior, la cantidad de los datos codificados no es incrementada, de manera sustancial. Esto es debido, aún cuando una transformación específica (por ejemplo, la DCT 8x8 o la DCT 4x4) no puede ser seleccionada en la capa más superior, a que esta transformación puede ser seleccionada en una capa inferior. En el área en donde son efectivas las transformaciones de frecuencia de los tamaños de transformación pequeños, ninguna partición es seleccionada que pertenece a la capa más superior y las particiones son seleccionadas de manera que se encuentren en las capas inferiores y para lo cual las transformaciones de frecuencia de los tamaños de transformación pueden ser seleccionadas, y con lo cual, cualquier incremento de la cantidad de códigos de los datos codificados puede ser suprimido. De manera especial, en función del hecho que las transformaciones de frecuencia de los tamaños de transformación grandes son efectivas para una gran partición, cuando una pluralidad de transformaciones de frecuencia cuyos tamaños de transformación o similares en forma están presentes entre las transformaciones de frecuencia candidatas, es preferible restringir las transformaciones de frecuencia de los tamaños de transformación pequeños entre aquellas transformaciones de frecuencia en la capa más superior.

De manera similar, en el caso en donde las particiones son expresadas por una estructura de capa, aún cuando son restringidas algunas transformaciones de frecuencia cuyos tamaños de transformación son relativamente grandes para una partición que pertenece a la capa más inferior, la cantidad de códigos de los datos codificados no es incrementada, de manera sustancial. De manera especial, en función del hecho que las transformaciones de frecuencia cuyos tamaños de transformación son pequeños son efectivas para una partición pequeña, cuando está presente una pluralidad de transformaciones de frecuencia cuyos tamaños de transformación o similares en forma entre las transformaciones de frecuencia candidatas, es preferible restringir las transformaciones de frecuencia de tamaños de transformación grandes entre aquellas transformaciones de frecuencia en la capa más inferior. <Ejemplo Específico del Procesamiento de Producción de Lista de Transformación Prohibida> Un ejemplo específico de un procedimiento para la producción de restricciones de transformación para una estructura de partición específica, es decir, una lista de transformación prohibida para cada partición ejecutada por la porción de derivación de restricción de transformación 104 será introducido con referencia a la Figura 9. Como es representado en la Figura 9, un MB expandido es dividido en cuatro en la capa LO, y posteriormente, la porción izquierda superior del mismo es dividida en uno (una partición "a") en la capa Ll, la porción derecha superior del mismo es dividida en dirección horizontal en dos (las particiones b y c) en la capa Ll, la porción izquierda inferior del mismo es dividida en dirección vertical en dos (las particiones d y e) en la capa Ll, y la porción derecha inferior del mismo es dividida en cuatro en la capa Ll .

En cuanto al área que es dividida en cuatro es la capa LO, la porción izquierda superior de la misma es dividida en una (partición f) en la capa L2 , la porción derecha superior de la misma es dividida en dirección horizontal en dos (las particiones g y h) en la capa L2 , la porción izquierda inferior de la misma es dividida en dirección vertical en dos (las particiones i y j) en la capa L2 y la porción derecha inferior de la misma es dividida en cuatro en la capa L2. Cada porción adquirida por las cuatro divisiones en la capa L2 es dividida en una (las particiones k, 1, m y n) en la capa L3. Los tamaños de transformación de las transformaciones de frecuencia que pueden ser seleccionados tienen, del mismo modo que con anterioridad, nueve tipos de tamaños que son 4x4, 8x8, 16x16, 16x1, 1x16, 8x1, 1x8, 16x8 y 8x16.

La partición "a" tiene un tamaño de 32x32 píxeles y pertenece a la capa Ll . Aplicando en la misma el procedimiento anterior para producir la lista de transformación prohibida, las transformaciones de frecuencia: cuyos tamaños de transformación son 4x4, 8x1 y 1x8 son agregados a la lista de transformación prohibida en la Etapa S51, la transformación de frecuencia cuyo tamaño de transformación es 8x8 es agregado a la lista de transformación prohibida en la Etapa S52, y las transformaciones de frecuencia cuyos tamaños de transformación son 1x16, 16x1, 16x8 y 8x16 son agregados a la lista de transformación prohibida en la Etapa S67.

Las particiones b y c tienen un tamaño de 32x16 pixeles y pertenecen a la capa Ll . Aplicando en las mismas el procedimiento anterior para la producción de la lista de transformación prohibida, las transformaciones de frecuencia: cuyos tamaños de transformación son 4x4, 8x1 y 1x8 son agregadas a la lista de transformación prohibida en la Etapa S51, las transformaciones de frecuencia cuyos tamaños de transformación son 4x4, 8x8 y 16x16 son agregadas a la lista de transformación prohibida en la Etapa S61 y las transformaciones de frecuencia cuyos tamaños de transformación son 1x16 y 8x16 son agregadas a la lista de transformación prohibida en la Etapa S62.

Las particiones d y e tienen un tamaño de 16x32 pixeles y pertenecen a la capa Ll . Aplicando a las mismas el procedimiento anterior para la producción de la lista de transformación prohibida, las transformaciones de frecuencia: cuyos tamaños de transformación son 4x4, 8x1 y 1x8 son agregadas a la lista de transformación prohibida en la Etapa S51, las transformaciones de frecuencia cuyos tamaños de transformación son 4x4, 8x8 y 16x16 son agregadas a la lista de transformación prohibida en la Etapa S64, y las transformaciones de frecuencia cuyos tamaños de transformación son 16x1 y 16x8 son agregadas a la lista de transformación prohibida en la Etapa S65.

La partición f tiene un tamaño de 16x16 píxeles y pertenece a la capa L2. Aplicando a las mismas el procedimiento anterior para la producción de la lista de transformación prohibida, las transformaciones de frecuencia: cuyos tamaños de transformación son 4x4, 8x1 y 1x8 son agregadas a la lista de transformación prohibida en la Etapa S51, y las transformaciones de frecuencia cuyos tamaños de transformación son 16x1, 1x16, 16x8 y 8x16 son agregadas a la lista de transformación prohibida en la Etapa S67.

Las particiones g y h tienen un tamaño de 16x8 píxeles y pertenecen a la capa L2. Aplicando a las mismas el procedimiento anterior para la producción de la lista de transformación prohibida, las transformaciones de frecuencia: cuyos tamaños de transformación son 16x16, 1x16 y 8x16 son agregadas a la lista de transformación prohibida en la Etapa S41, las transformaciones de frecuencia cuyos tamaños de transformación son 4x4, 8x8 y 16x16 son agregadas a la lista de transformación prohibida en la Etapa S61, y las transformaciones de frecuencia cuyos tamaños de transformación son 1x16 y 8x16 son agregadas a la lista de transformación prohibida en la Etapa S62.

Las particiones i y j tienen un tamaño de 8x16 píxeles y pertenecen a la capa L2. Aplicando a las mismas el procedimiento anterior para la producción de la lista de transformación prohibida, las transformaciones de frecuencia: cuyos tamaños de transformación son 16x16, 16x1 y 16x8 son agregadas a la lista de transformación prohibida en la Etapa S41, las transformaciones de frecuencia cuyos tamaños de transformación son 4x4, 8x8 y 16x16 son agregadas a la lista de transformación prohibida en la Etapa S64, y las transformaciones de frecuencia cuyos tamaños de transformación son 16x1 y 16x8 son agregadas a la lista de transformación prohibida en la Etapa S65.

Las particiones k, 1, m y n tienen un tamaño de 8x8 pixeles y pertenecen a la capa L3. Aplicando a las mismas el procedimiento anterior para la producción de la lista de transformación prohibida, las transformaciones de frecuencia: cuyos tamaños de transformación son 16x16, 16x1, 16x8, 1x16 y 8x16 son agregadas a la lista de transformación prohibida en la Etapa S41, las transformaciones de frecuencia cuyos tamaños de transformación son 16x1, 16x8, 1x16 y 8x16 son agregadas a la lista de transformación prohibida en la Etapa S67, y las transformaciones de frecuencia cuyos tamaños de transformación son 8x8 y 16x16 son agregadas a la lista de transformación prohibida en la Etapa S5b.

Como en el ejemplo anterior, para un MB expandido que tiene otra estructura de partición, también puede ser producida una lista de transformación prohibida para cada partición en el MB expandido y puede ser salida como una restricción de transformación.

En lo anterior, se describe que todas las Etapas S42, S43 y S44 son ejecutadas en el procedimiento para la producción de la lista de transformación prohibida. Sin embargo, sólo algunas de estas podrían ser ejecutadas. En el procedimiento detallado de la Etapa S42, sólo la determinación en la Etapa S50 o la determinación en la Etapa S51 podrían ser ejecutadas. En el procedimiento detallado de la Etapa S43, con referencia a las determinaciones, sólo podrían ser ejecutadas algunas de las determinaciones ejecutadas en las Etapas S60, S63 y S66 o, con referencia al procesamiento ejecutado después de cada una de las determinaciones, sólo la etapa 61 o la etapa 62, y cualquiera de la Etapa S64 o de la Etapa S65 podrían ser ejecutadas. En el procedimiento detallado de la Etapa S44, sólo la determinación en la Etapa S70 o la determinación en la Etapa S72 podrían ser ejecutadas. Cuando esta simplificación del procedimiento es ejecutada, el procesamiento de cálculo necesario para la producción de la lista de transformación prohibida puede ser reducido. <Porción de Determinación de Transformación de Frecuencia 105> La porción de determinación de transformación de frecuencia 105 determina la transformación de frecuencia que será aplicada en cada partición en el MB expandido utilizando la restricción de transformación entrada en la misma; y da salida a la información de la misma como el avisó de selección de transformación. Un procedimiento va a determinar la transformación de frecuencia que será aplicada en la partición específica p como sigue: (Etapa S120) La lista de transformación prohibida Lp que corresponde con la partición p es extraída de la restricción de transformación. (Etapa S121) Una lista de candidatas de transformación Cp es adquirida tomando la diferencia establecida entre la transformación preestablecida y la lista de transformación prohibida Lp .

(Etapa S122) Cuando la lista de candidatas de transformación Cp es un conjunto vacío, la transformación de frecuencia es agregada a la lista de candidatas de transformación Cp, cuyo tamaño de transformación es el más pequeño de las transformaciones de frecuencia cuyos tamaños de transformación son cuadros que son incluidos n la transformación preestablecida. Esta etapa es necesaria para evitar el caso en donde ninguna transformación de frecuencia aplicable este presente cuando la lista de transformación prohibida coincida con la transformación preestablecida. Cuando la lista de transformación prohibida siempre es producida de manera que no coincida con la transformación preestablecida, esta etapa podría ser omitida. (Etapa S123) El costo de distorsión de relación para el caso en donde es calculada cada una de las transformaciones de frecuencia incluidas en la lista de candidatas de transformación Cp es aplicada y es determinada la transformación de frecuencia que minimiza el costo de distorsión de relación para que sea la transformación de frecuencia que será aplicada en la partición p. <Porción de Codificación de Longitud Variable 108> La porción de codificación de longitud variable 108 produce los datos codificados que corresponden con el coeficiente de transformación, el parámetro de predicción y el aviso de selección de transformación en el MB expandido, en función del coeficiente de transformación, el parámetro de predicción, la restricción de transformación y el aviso de selección de transformación que son ingresados en la misma, y da salida a los datos codificados.

El coeficiente de transformación y el parámetro de predicción son codificados de longitud variable en un método convencional y los códigos resultantes son generados. El aviso de selección de transformación es codificado de longitud variable utilizando la restricción de transformación y el código resultante es generado. Un procedimiento para la codificación de longitud variable del aviso de selección de transformación será descrito con referencia al diagrama de flujo de la Figura 10.

(Etapa S80) Cuando el método de división utilizado para la capa LO en el MB expandido es diferente de la división en cuatro partes, el proceso de la Etapa S81 es ejecutado, y en otros casos, los procesos de las Etapas S82-S92 son ejecutados. (Etapa S81) La información es codificada de longitud variable que indica la transformación de frecuencia que será aplicada en cada partición en la unidad de procesamiento de la capa LO (64x64 píxeles) , y el procedimiento llega a su fin. (Etapa S82) Los procesos de las siguientes etapas S83-S92 son ejecutados para cada una de las unidades de procesamiento (cada 32x32 píxeles) en la capa Ll que son adquiridos dividiendo la unidad de procesamiento en la capa LO en cuatro.

(Etapa S83) Cuando el método de división utilizado para la capa Ll en la unidad de procesamiento actual (32x32 píxeles) es diferente de la división en cuatro partes, el procedimiento es avanzado a la Etapa S84, y en otros casos, el procedimiento es avanzado a la Etapa S85. (Etapa S84) La información es codificada de longitud variable que indica la transformación de frecuencia que será aplicada en cada partición en la unidad de procesamiento actual (32x32 píxeles), y el procedimiento es avanzado a la Etapa S92. (Etapa S85) Los procesos de las siguientes etapas S86-S91 son aplicados en cada una de las unidades de procesamiento (cada 16x16 píxeles) en la capa L2 que son adquiridos dividiendo la unidad de procesamiento en la capa Ll (32x32 píxeles) en cuatro.

(Etapa S86) Cuando el método de división utilizado en la capa L2 en la unidad actual de procesamiento (16x16 píxeles) es diferente de la división en cuatro partes, el procedimiento es avanzado a la Etapa S87, y en otros casos, el procedimiento es avanzado a la Etapa S88. (Etapa S87) La información es codificada de longitud variable que indica la transformación de frecuencia que será aplicada a cada partición en la unidad de procesamiento actual (16x16 píxeles), y el procedimiento es avanzado a la Etapa S91. (Etapa S88) Los procesos de las siguientes etapas S89-S90 son ejecutados para cada unidad de procesamiento (cada 8x8 píxeles) en la capa L3 que son adquiridos mediante la división de la unidad de procesamiento en la capa L2 en cuatro. (Etapa S89) La información es codificada de longitud variable que indica la transformación de frecuencia que será aplicada en cada partición en la unidad de procesamiento actual (8x8 píxeles) , y el procedimiento es avanzado a la Etapa S90.

(Etapa S90) Cuando el procesamiento de toda la unidad de procesamiento (cada 8x8 píxeles) llega a su fin, el procesamiento es avanzado a la Etapa S91. Cuando el procesamiento no llega a su fin, una siguiente unidad de procesamiento (8x8 píxeles) es establecida y el procedimiento es avanzado a la Etapa S89. (Etapa S91) Cuando el procesamiento de toda la unidad de procesamiento (cada 16x16 píxeles) llega a su fin, el procedimiento es avanzado a la Etapa S92. Cuando el procesamiento no llega a su fin, una siguiente unidad de procesamiento (16x16 píxeles) es establecida y el procedimiento es avanzado a la Etapa S86. (Etapa S92) Cuando el procesamiento de toda la unidad de procesamiento (cada 32x32 píxeles) llega a su fin, el procedimiento llega a la finalización. Cuando el procesamiento no llega a su fin, una siguiente unidad de procesamiento (32x32 píxeles) es establecida y el procedimiento es avanzado a la Etapa S83.

La codificación de longitud variable es ejecutada de acuerdo con el siguiente procedimiento para el aviso de selección de transformación que corresponde con la partición específica p. (Etapa S130) La lista de transformación prohibida Lp que corresponde con la partición p es extraída de la restricción de transformación. (Etapa S131) La lista de candidatas de transformación Cp es adquirida tomando la diferencia establecida entre la transformación preestablecida y la lista de transformación prohibida Lp .

(Etapa S132) Cuando la lista de candidatas de transformación Cp es un conjunto vacío, la transformación de frecuencia es agregada a la lista de candidatas de transformación Cp, cuyo tamaño de transformación es el más pequeño de las transformaciones de frecuencia cuyos tamaños de transformación son cuadros que son incluidos en la transformación preestablecida. La transformación de frecuencia agregada en esta etapa no es limitada a las transformaciones de frecuencia anteriores, y podría ser la transformación de frecuencia cuyo tamaño de transformación es más pequeño que el de la otra partición p incluida en la transformación preestablecida. Sin embargo, esta transformación de frecuencia necesita ser la misma transformación de frecuencia que la utilizada en la Etapa S122 de la porción de determinación de transformación de frecuencia. (Etapa S133) Cuando el número de transformaciones de frecuencia incluidas en la lista de candidatas de transformación Cp sólo es uno, el procesamiento de codificación de longitud variable llega a su fin. En este caso, aún cuando la información que indica que la transformación de frecuencia que será aplicada a la partición p no es incluida en los datos codificados, ningún problema se genera debido a que puede ser únicamente identificada en el momento de la decodificación de los datos que deben aplicarse a la transformación de frecuencia. (Etapa S134) Las transformaciones de frecuencia incluidas en la lista de candidatas de transformación Cp son nuevamente colocadas en un orden predeterminado y son correlacionadas con los índices que se incrementan de uno en uno comenzando a partir de cero.

(Etapa S135) El índice codificado de longitud variable es correlacionado con la transformación de frecuencia que será aplicada a la partición p. Como un método de codificación de longitud variable del índice, por ejemplo, un método que toma una cadena de bits de un valor de índice adquirido al expresar el valor de índice en la forma binaria utilizando t bits, como los datos codificados que utilizan el mínimo "t" con el cual la potencia t-th de dos es igual o más grande que s, en donde s es el número de elementos de la lista de transformación de frecuencia candidata.

Cuando se vuelve más pequeño el número de elementos de la lista de transformación de frecuencia candidata, la cantidad de códigos necesarios para la codificación del índice se vuelve más pequeña. Al establecer una transformación prohibida para cada partición, la cantidad de códigos necesarios para codificar el aviso de selección de transformación puede ser reducida. Cuando es pequeño el número de elementos de la lista de transformación de frecuencia candidata, puede ser reducida la cantidad de cómputo para el procesamiento de codificación a fin de seleccionar la transformación de frecuencia que será aplicada .

Para el orden predeterminado en la Etapa S134, el orden puede ser utilizado de acuerdo con el cual, por ejemplo, un índice más pequeño que el índice acoplado con la transformación de frecuencia cuyo tamaño de transformación es pequeño es acoplada con una transformación de frecuencia cuyo tamaño de transformación es grande, cuando el tamaño de transformación de una transformación de frecuencia és un cuadro, un índice más pequeño que el índice acoplado con otra transformación de frecuencia cuyo tamaño de transformación es un rectángulo lateralmente largo es acoplado con la transformación de frecuencia, y cuando el tamaño de transformación de una transformación de frecuencia es un rectángulo lateralmente largo, un índice más pequeño que el índice acoplado con otra transformación de frecuencia cuyo tamaño de transformación es un rectángulo longitudinalmente largo es acoplado con la trans ormación de frecuencia. En este caso, los índices en orden ascendente tienden a ser correlacionados de uno a uno con la DCT 16x16, la DCT 16x8, la DCT 8x16, la DCT 8x8, la DCT 4x4, la DCT 16x1, la DCT 1x16, la DCT 8x1 y la DCT 1X8 en este orden.

El orden predeterminado en la Etapa S134 también podría ser el orden descendente de la frecuencia de selección de cada transformación de frecuencia, como otro ejemplo. De manera más específica, es contado el número de veces que cada transformación en la transformación preestablecida es seleccionada como la transformación de una partición después de iniciar el procesamiento de codificación para el video de entrada, y el orden es producido de manera que un índice más pequeño es distribuido a la transformación de frecuencia que es seleccionada en más ocasiones. En este caso, es generada una desviación también en la frecuencia de producción del índice y por lo tanto, es reducida la cantidad de códigos que es adquirida cuando el índice es codificado de longitud variable en la Etapa S135. El valor del coeficiente del número de veces de la selección podría ser inicializado en un valor predeterminado tal como cero en la temporización adecuada tal como el punto de tiempo de inicio de la codificación de un nuevo cuadro o el punto de tiempo de inicio de la codificación de una rebanada que es un conjunto de un número predeterminado de MBs expandidos. El número de veces de selección de una transformación de frecuencia condicional tal como por ejemplo, el número de veces de selección de cada transformación de frecuencia para cada tamaño de transformación podría ser contado y utilizado.

Otro método también podría ser utilizado para la codificación de longitud variable del índice ejecutado en la Etapa S135. Por ejemplo, varios tipos de VLCs, CABACs, etcétera, especificados en la H.264/AVC también podrían ser utilizados .

Sin la codificación de longitud variable, el índice como es, un aviso es codificado de manera que indica si el índice coincide con el valor estimado de índice y, sólo cuando el aviso indica que no hay coincidencia, el índice podría ser codificado de longitud variable. La transformación de frecuencia utilizada para la partición que será procesada es estimada utilizando las piezas de información en el MB expandido ya codificado (tal como la imagen decodificada local, la estructura de partición y el vector de movimiento), y el índice que corresponde con la transformación de frecuencia podría ser determinado para que sea el valor estimado de índice. De manera especial, es preferible derivar un valor estimado de índice en función de la transformación de frecuencia que es aplicado a una partición en la proximidad de la partición que será procesada tomando en consideración la correlación espacial de la transformación de frecuencia. De manera más específica, los índices de las transformaciones de frecuencia que son aplicadas en las particiones localizadas a la izquierda de, por encima y a la derecha superior de la partición que será procesada son derivados, de manera respectiva. Y un sistema en el cual dos o más de estos índices coinciden entre sí, el valor de los dos o más índices es determinado para que sea el valor estimado de índice, y en otros casos, es preferible que sea determinado el valor más pequeño de estos índices para que sea el valor estimado de índice.

Se describe que la codificación de longitud variable es dada a los avisos de selección de transformación para todas las particiones en el procedimiento de la codificación de longitud variable del aviso de selección de transformación. Sin embargo, después de imponer una restricción en la que la transformación de frecuencia es comúnmente aplicada a las particiones que pertenecen a la misma unidad de procesamiento de la capa específica Lx, un aviso de selección de transformación común a las particiones en la unidad de procesamiento podría ser codificado de longitud variable para cada unidad de procesamiento en la capa Lx. En este caso, el grado de libertad de la selección de la transformación de frecuencia es disminuido. Sin embargo, la codificación de cualquier aviso de selección de transformación no es necesaria para cada partición y el aviso de selección de transformación sólo tiene que ser codificado para cada unidad de procesamiento de la capa Lx y por lo tanto, puede ser reducida la cantidad de códigos, que son necesarios para la codificación del aviso de selección de transformación. En contraste, la partición podría ser dividida en unidades, cada una de las cuales no es más pequeña que la transformación de frecuencia cuyo tamaño de transformación es el más grande incluido en la lista de candidatas de transformación, y el aviso de selección de transformación podría ser codificado para esta unidad. <Porción de Reconstrucción de Residual de Predicción 109> La porción de reconstrucción de residual de predicción 109 reconstruye el residual de predicción mediante la aplicación de una transformación de frecuencia inversa en el coeficiente de transformación en función del coeficiente de transformación y el aviso de selección de transformación que son ingresados en la misma, y da salida al residual de predicción reconstruido. Cuando el coeficiente de transformación es cuantificado, la cuantificación inversa es aplicada al coeficiente de transformación antes de la aplicación de la transformación de frecuencia inversa. <Porción de Producción de Imagen Decodificada Local 110> La porción de producción de imagen decodificada local 110 produce una imagen decodificada local en función de la imagen predictiva y el residual de predicción que son ingresados en la misma, y da salida a la imagen decodificada local. Cada valor de píxel de la imagen decodificada local es la suma de los valores de píxel de los correspondientes píxeles de la imagen predictiva y el residual de predicción. Un filtro podría ser aplicado en la imagen decodificada local con el propósito de reducir la distorsión de bloque que es generada en el límite de bloque y para reducir los errores de cuantificación . <Operaciones del Aparato de Codificación de Videos 10> Las operaciones del aparato de codificación de video 10 serán descritas. (Etapa S100) El video de entrada entrado en forma externa en el aparato de codificación de video 10 es entrado, de manera secuencial, en los MBs expandidos en la porción de determinación de parámetro de predicción 102 y la porción de producción de residual de predicción 106. Los procesos de las etapas S101-S109 que siguen son ejecutados, de manera secuencial, para cada uno de los MBs expandidos. (Etapa S101) La porción de determinación de parámetro de predicción 102 determina un parámetro de predicción para el MB expandido que será procesado en función del video de entrada que es entrado en la misma, y da salida al parámetro de predicción hacia la porción de producción de imagen predictiva 103 y la porción de codificación de longitud variable 108.

(Etapa S102) La porción de producción de imagen predictiva 103 produce la imagen predictiva que se aproxima al área del MB expandido que será procesado en el video de entrada en función del parámetro de predicción entrado en la misma y la imagen decodificada local grabada en la memoria de cuadro 101, y da salida a la imagen predictiva hacia la porción de producción de residual de predicción 106 y la porción de producción de imagen decodificada local 110.

(Etapa S103) La porción de producción de residual de predicción 106 produce el residual de predicción que corresponde con el MB expandido que será procesado en función del video de entrada y la imagen predictiva qué son ingresados en la misma, y da salida al residual de predicción hacia la porción de determinación de transformación de frecuencia 105 y la porción de producción de coeficiente de transformación 107. (Etapa S104) La porción de derivación de restricción de transformación 104 deriva una restricción en la transformación de frecuencia en cada partición del MB expandido que será procesado como una restricción de transformación en función del parámetro de predicción que es entrado en la misma, y da salida a la restricción de transformación hacia la porción de determinación de transformación de frecuencia 105 y la porción de codificación de longitud variable 108.

(Etapa S105) La porción de determinación de transformación de frecuencia 105 determina la transformación de frecuencia que será aplicada a cada partición del MB expandido que será procesado en función de la restricción de transformación y el residual de predicción que son ingresados en la misma, y da salida a la transformación de frecuencia como un aviso de selección de transformación hacia la porción de producción de coeficiente de transformación 107, la porción de codificación de longitud variable 108, y la porción de reconstrucción de residual de predicción 109. (Etapa S106) La porción de producción de coeficiente de transformación 107 aplica la transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma en el residual de predicción entrado en la misma, con lo cual, se produce el coeficiente de transformación que corresponde con el MB expandido · que será procesado, y da salida al coeficiente de transformación hacia la porción de codificación de longitud variable 108 y la porción de reconstrucción de residual de predicción 109.

(Etapa S107) La porción de reconstrucción de residual de predicción 109 aplica la transformación de frecuencia inversa que corresponde con la transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma en el coeficiente de transformación entrado en la misma, con lo cual, se reconstruye el residual de predicción que corresponde con el MB expandido que será procesado, y da salida al residual de predicción reconstruido hacia la porción de producción de imagen decodificada local 110. (Etapa S108) La porción de producción de imagen decodificada local 110 produce la imagen decodificada local en función del residual de predicción y la imagen predictiva que son ingresados en la misma, y da salida a la imagen decodificada local hacia la memoria de cuadro 101 para grabar la imagen decodificada local en la misma.

(Etapa S109) La porción de codificación de longitud variable 108 codifica de longitud variable el coeficiente de transformación, el parámetro de predicción y el aviso de selección de transformación que son ingresados en la misma utilizando la restricción de transformación entrada en la misma, y da salida en forma externa a los datos resultantes como los datos codificados.

De acuerdo con el procedimiento anterior, el aparato de codificación de video 10 puede codificar el video de entrada entrado en el mismo, con lo cual, se producen los datos codificados, y los datos codificados salidos en forma externa . <Configuración del Aparato de Decodificación de Video 20> Será descrito el aparato de decodificación de video 20 que decodifica los datos codificados que son codificados por el aparato de codificación de video 10 y con lo cual, se produce el video decodificado .

La Figura 11 es un diagrama de bloque de la configuración del aparato de decodificación de video 20. El aparato de decodificación de video 20 incluye la memoria de cuadro 101, la porción de producción de imagen predictiva 103, la porción de derivación de restricción de transformación 104, la porción de reconstrucción de residual de predicción 109, la porción de producción de imagen decodificada local 110, y la porción de decodificación de código de longitud variable 201.

La porción de decodificación de código de longitud variable 201 decodifica el parámetro de predicción, el aviso de selección de transformación y el coeficiente de transformación en función de los datos codificados y la restricción de transformación que son ingresados en la misma, y da salida a los resultados decodificados . De manera más específica, el parámetro de predicción primero es decodificado a partir de los datos codificados y el resultado es generado. Entonces, el aviso de selección de transformación es decodificado a partir de los datos codificados utilizando la restricción de transformación y el resultado es generado. El coeficiente de transformación es finalmente decodificado a partir de los datos codificados utilizando el aviso de selección de transformación y el resultado es generado. <Operaciones del Aparato de Decodificación de Video 20> Las operaciones del aparato de decodificación de video 20 serán descritas. (Etapa S110) Los datos codificados ingresados en forma externa en el aparato de decodificación de video 20 son ingresados, de manera secuencial, en la porción de decodificación de código de longitud variable 201 en los MBs expandidos, y los procesos de las Etapas S111-S117 que siguen son ejecutados, de manera secuencial, para los datos codificados que corresponden con cada MB expandido. (Etapa Slll) La porción de decodificación de código de longitud variable 201 decodifica el parámetro de predicción que corresponde con el MB expandido que será procesado a partir de los datos codificados que son ingresados en la misma, y da salida al parámetro de predicción hacia la porción de producción de imagen predictiva 103 y la porción de derivación de restricción de transformación 104.

(Etapa S112) La porción de derivación de restricción de transformación 104 deriva una restricción que se refiere a la transformación de frecuencia para cada partición del MB expandido que será procesado como la restricción de transformación en función del parámetro de predicción que es entrado en la misma, y da salida a la restricción de transformación hacia la porción de decodificación de código de longitud variable 201. (Etapa S113) La porción de decodificación de código de longitud variable 201 decodifica el aviso de selección de transformación que corresponde con el MB que será procesado en función de los datos codificados y la restricción de transformación que son ingresados en la misma, y da salida al aviso de selección de transformación hacia la porción de reconstrucción de residual de predicción 109.

(Etapa S114) La porción de decodificación de código de longitud variable 201 decodifica el coeficiente de transformación que corresponde con el MB expandido que será procesado, en función de los datos decodificados que son ingresados en la misma, y el aviso de selección de transformación derivado en la Etapa S113, y da salida al coeficiente de transformación hacia la porción de reconstrucción de residual de predicción 109. (Etapa S115) La porción de producción de imagen predictiva 103 produce la imagen predictiva que corresponde con el B expandido que será procesado, en función del parámetro de predicción entrado en la misma y la imagen decodificada local grabada en la memoria de cuadro 101, y da salida a la imagen predictiva hacia la porción de producción de imagen decodificada local 110.

(Etapa S116) La porción de reconstrucción de residual de predicción 109 aplica la transformación de frecuencia inversa que corresponde con la transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma, en el coeficiente de transformación entrado en la misma, con lo cual, se reconstruye el residual de predicción que corresponde con el MB expandido que será procesado, y da salida al residual de predicción hacia la porción de producción de imagen decodificada local 110. (Etapa S117) la porción de producción de imagen decodificada local 110 produce la imagen decodificada local en función del residual de predicción y la imagen predictiva que son ingresados en la misma, da salida a la imagen decodificada local hacia la memoria de cuadro 101 para grabar la imagen decodificada local en la memoria de cuadro 101, y da salida en forma externa a la imagen decodificada local como el área en el video decodificado que corresponde con el bloque que será procesado.

Del mismo modo que con anterioridad, de acuerdo con el aparato de decodificación de video 20, el video decodificado puede ser producido a partir de los datos codificados que son producidos por el aparato de codificación de video 10. <Artículo Adjunto 1: Uso de la Información en los Artículos Diferentes del Tamaño de Partición y las Capas al que Pertenecen> En la descripción del aparato de codificación de video 10 y el aparato de decodificación de video 20, la lista de transformación prohibida para cada partición en el MB expandido es descrita que será producida sólo en base del tamaño de partición y la capa a la cual pertenece la partición. Sin embargo, otra pieza de la información también podría ser utilizada de manera que pueda ser reproducida para la decodificación en función de la información incluida en los datos codificados. Por ejemplo, el vector de movimiento y el índice de imagen de referencia que son incluidos en el parámetro de predicción también podrían ser utilizados para derivar la lista de transformación prohibida.

A continuación, será descrito el procedimiento para la adición de una transformación de frecuencia en la lista de transformación prohibida utilizando el vector de movimiento y el índice de imagen de referencia en la partición específica. Un vector de movimiento de la partición p es denotado por "mvp" y el índice de imagen de referencia de la misma es denotado por "refp" . Un vector de movimiento de una partición (la partición u) localizada en la oposición más izquierda de las particiones que se encuentran adyacentes al lado superior de la partición p es denotado por "mvu" y el índice de imagen de referencia de la misma es denotado por "refu" . Un vector de movimiento de una partición (la partición 1) localizada en el extremo superior de las particiones que son adyacentes al lado izquierdo de la partición p es denotado por "mvl" y el índice de imagen de referencia de la misma es denotado por "ref1" .

(Etapa S140) Cuando todos de mvp, mvu y mvl coinciden entre sí y todos de refp, refu y refl coinciden entre sí, el procedimiento es avanzado a la Etapa S141. En otros casos, el procedimiento llega a su fin. (Etapa S141) Cuando dos o más transformaciones de frecuencia que tienen los tamaños de transformación en una relación análoga en la lista de transformación de frecuencia están presentes, la transformación de frecuencia, cuyo tamaño de transformación es el más pequeño en cada combinación de las transformaciones de frecuencia que tienen los tamaños de transformación en la relación análoga es agregado a Lp, y el procedimiénto llega a su fin.

La coincidencia de los vectores de movimiento entre los bloques adyacentes significa que la correlación espacial de los vectores de movimiento es alta en el área local en la proximidad del MB expandido que será codificado. Cuando la correlación espacial de los vectores de movimiento es alta, la correlación espacial de los valores de píxel tiende también a ser alta y por lo tanto, es ligero el incremento de la cantidad de los códigos de los datos codificados aún cuando la aplicación es prohibida de las transformaciones de frecuencia cuyos tamaños de transformación son pequeños de las transformaciones de frecuencia que tienen tamaños de transformación similares.

En lo anterior, se supone que los vectores de movimiento y los índices de imagen de referencia que serán utilizados para derivar la lista de transformación prohibida son los vectores de movimiento y los índices de imagen de referencia de las particiones que son adyacentes a la partición p. Sin embargo, podrían utilizarse otros vectores de movimiento. Por ejemplo, podrían utilizarse vectores de movimiento en los MBs expandidos adyacentes al MB expandido al cual pertenece la partición p (el MB expandido que será procesado) . De manera más específica, un vector de movimiento de una partición ubicada a la derecha superior en el MB expandido adyacente al lado izquierdo del MB expandido que será procesado es utilizado como mvl , y un vector de movimiento de una partición localizada en la izquierda inferior en el MB expandido adyacente al lado superior del MB expandido que será procesado es utilizado como mvu. En este caso, el mismo mvl y mvu son utilizados en todas las particiones en el MB expandido y por lo tanto, los procesos de las Etapas S140 y S141 pueden ser ejecutados en paralelo para cada partición <Artículo Adjunto 2 : Temporización para la Producción de la Lista de Transformación Prohibida> En la descripción del aparato de codificación de video 10 y el aparato de decodificación de video 20, se describe que la porción de derivación de restricción de transformación 104 ejecuta el procesamiento de producción de la lista de transformación prohibida para cada partición del MB expandido en cualquier momento. Sin embargo, cuando la adición de la transformación de frecuencia a la lista de transformación prohibida es ejecutada sólo en base del tamaño de partición y la capa a la cual pertenece la partición, también podría ser producida por adelantado una lista de transformación de frecuencia prohibida en la temporización predeterminada. En este caso, la lista de transformación prohibida producida por adelantado para cada tipo de partición necesita ser correlacionada con cada partición en el MB expandido a través de la porción de derivación de restricción de transformación 104. La temporización predeterminada podría ser el punto de tiempo de inicio de la codificación del video de entrada o el punto de tiempo inmediatamente después del inicio de la decodificación de los datos codificados, o podría ser el punto de tiempo inmediatamente después del inicio del proceso de codificación o decodificación de una unidad predeterminada de codificación tal como una secuencia, un cuadro o una rebanada. El número de veces de ejecución del procesamiento de producción de la lista de transformación prohibida puede ser reducido y por lo tanto, también puede ser reducida la cantidad de procesamiento de la codificación y decodificación.

En contraste, en el caso en donde la transformación de frecuencia es agregada a la lista de transformación prohibida, cuando los vectores de movimiento y los índices de imagen de referencia son usados, el procesamiento de producción de la lista de transformación prohibida necesita ser ejecutado en cualquier momento para cada MB expandido como es descrito para el aparato de codificación de video 10 y el aparato de decodificación de video 20. En este caso, la cantidad de procesamiento para la codificación y la decodificación es incrementada debido al incremento del número de veces de ejecución del procesamiento de producción de la lista de transformación prohibida. Sin embargo, si se compara con el caso en donde el procesamiento de producción no es ejecutado para cada MB, la lista de transformación prohibida puede ser producida de manera que sea más adáptiva a la propiedad local del video utilizando más información que puede ser derivada a partir de los datos codificados.

(Segunda Modalidad) Un aparato de codificación de video 11 y un aparato de decodificación de video 21 que son otra modalidad del aparato de codificación de video y el aparato de decodificación de video de acuerdo con la presente invención serán descritos con referencia a las Figuras 12-14. En la descripción de las figuras que la acompañan, los mismos componentes son dados a los mismos números de referencia y no serán descritos una vez más.

El aparato de codificación de video 11 y el aparato de decodificación de video 21 en la modalidad son caracterizados porque la lista de candidatas de transformación es directamente derivada sin producir ninguna lista de transformación prohibida mediante el reemplazo de la porción de derivación de restricción de transformación 104 en cada uno del aparato de codificación de video 10 y el aparato de decodificación de video 20 con una porción de derivación de candidata de transformación 111.

La porción de derivación de restricción de transformación 104 y la porción de derivación de candidata de transformación 111 son referidas, de manera colectiva, como la "porción de derivación de control de transformación" .

La Figura 12 es un diagrama de bloque de la configuración del aparato de codificación de video 11. El aparato de codificación de video 11 incluye la memoria de cuadro 101, la porción de determinación de parámetro de predicción 102, la porción de producción de imagen predictiva 103, la porción de producción de residual de predicción 106, la porción de producción de coeficiente de transformación 107, la porción de reconstrucción de residual de predicción 109, la porción de producción de imagen decodificada local 110, la porción de derivación de candidata de transformación 111, la porción de determinación de transformación de frecuencia 112 y la porción de codificación de longitud variable 113.

La porción de derivación de candidata de transformación 111 da salida, como una lista de candidatas de transformación, a la información en las transformaciones de frecuencia que puede ser seleccionada para cada partición en el MB expandido en función de un parámetro de predicción que es entrado en la misma. La porción de derivación de candidata de transformación 111 produce una lista de candidatas de transformación para la partición en función de la información de forma de partición de cada partición determinada por el parámetro de predicción.

La lista de candidatas de transformación es correlacionada con cada partición en el MB expandido y especifica un conjunto de transformaciones de frecuencia que pueden ser seleccionadas para cada partición de las transformaciones de frecuencia incluidas en la transformación preestablecida .

Una lista de candidatas de transformación Cp, para una partición específica p es producida de acuerdo con el procedimiento que sigue. Se supone que el tamaño de la partición p es MxN píxeles (M píxeles en dirección lateral y N píxeles en dirección longitudinal) . La partición p también se supone que pertenece a una capa Lx. (Etapa S150) La transformación de frecuencia es agregada a Cp, que es determinada de manera que corresponda con la relación de magnitud entre M y N. (Etapa S151) Cuando Cp está vacía, la transformación de frecuencia es agregada a Cp, cuyo tamaño de transformación es el más grande de aquellos de las transformaciones de frecuencia cuyos tamaño de transformación son más pequeños que todos los tamaños de partición.

El procedimiento detallado de la Etapa S150 será descrito con referencia al diagrama de flujo de la Figura 13. (Etapa S160) Utilizando un valor predeterminado Th3 (que es de aquí en adelante, por ejemplo, Th3=16) el valor de Min (M, Th3) es establecido para que sea MI y el valor de Min(N, Th3) es establecido para que sea NI. De preferencia, el valor de Th3 es establecido para que sea la longitud de un lado del tamaño de transformación de la transformación de frecuencia cuyo tamaño de transformación es el cuadro más grande, incluido en la transformación preestablecida. Cuando una transformación de frecuencia que tiene un tamaño de transformación de un tamaño de transformación lxNl está presente en la transformación preestablecida, esta transformación de frecuencia es agregada a la lista de candidatas de transformación Cp, y el procedimiento es avanzado a la Etapa S161.

(Etapa S161) Cuando M es más grande que N (cuando la partición p es un rectángulo lateralmente largo) , el procedimiento es avanzado hacia la Etapa S162, y en otros casos, el procedimiento es avanzado hacia la Etapa S163. (Etapa S162) Cuando una transformación de frecuencia que tiene un tamaño de transformación de un tamaño de transformación Mlxl está presente en la transformación preestablecida, esta transformación de frecuencia es agregada a la lista de candidatas de transformación Cp, y el procedimiento llega a su fin. (Etapa S163) Cuando M es más pequeño que N (cuando la partición p es un rectángulo longitudinalmente largo) , el procedimiento es avanzado hacia la Etapa S164, y en otros casos, el procedimiento es avanzado hacia la Etapa S165.

(Etapa S164) Cuando una transformación de frecuencia que tiene un tamaño de transformación de un tamaño de transformación lxNl está presente en la transformación preestablecida, esta transformación de frecuencia es agregada a la lista de candidatas de transformación Cp, y el procedimiento llega a su fin. (Etapa S165) El valor de Ml÷2 es establecido para que sea M2 y el valor de Nl÷2 es establecido para que sea N2. Cuando una transformación de frecuencia que tiene un tamaño de transformación de un tamaño de transformación M2xN2 está presente en la transformación preestablecida, esta transformación de frecuencia es agregada a la lista de candidatas de transformación Cp, y el procedimiento llega a su fin. Esta etapa es ejecutada cuando M es igual a N (cuando la partición p es un cuadro) .

La relación de magnitud entre M y N, y el tamaño de partición MxN son piezas de la información de forma de partición .

En el procedimiento anterior, cuando una transformación de frecuencia cuyo tamaño de transformación tiene una longitud longitudinal (lateral) más corta que la altura (ancho) de la partición está presente en la transformación preestablecida para una partición rectangular lateralmente larga (rectangular longitudinalmente larga) , esta transformación de frecuencia es agregada a la lista de candidatas de transformación Cp . Una transformación de frecuencia cuyo tamaño de transformación es un rectángulo lateralmente largo (rectángulo longitudinalmente largo) es efectiva para una partición rectangular lateralmente larga (rectangular longitudinalmente larga) como es mencionado con referencia a la Figura 6 en la descripción del procedimiento para la derivación de la lista de transformación prohibida a través de la porción de derivación de restricción de transformación 104 del aparato de codificación de video 10. De manera especial, los casos en donde un límite de un objeto está presente en el tamaño de transformación pueden ser reducidos utilizando una transformación de frecuencia que tiene un tamaño de transformación cuya longitud del lado más corto es extremadamente corta si se compara con su longitud lateral más larga. Por lo tanto, el efecto de concentración puede ser mejorado de la energía en el componente de baja frecuencia del coeficiente de transformación debido a la transformación de frecuencia.

La porción de determinación de transformación de frecuencia 112 determina la transformación de frecuencia que será aplicada en cada partición en el MB expandido utilizando la lista de candidatas de transformación que es entrada en la misma, y da salida a la transformación de frecuencia como el aviso de selección de transformación. De manera más específica, es calculado el costo de distorsión de relación para el caso en donde cada una de las transformaciones de frecuencia incluidas en la lista de candidatas de transformación Cp es aplicada, y la transformación de frecuencia que minimiza el costo de distorsión de relación es determinada como la transformación de frecuencia que será aplicada en la partición p.

La porción de codificación de longitud variable 113 produce los datos codificados que corresponden con el coeficiente de transformación, el parámetro de predicción y el aviso de selección de transformación en el MB expandido, en función de la codificación de longitud variable, la lista de candidatas de transformación y el aviso de selección de transformación además del coeficiente de transformación y el parámetro de predicción que son ingresados en la misma, y da salida a los datos codificados.

El procedimiento para la codificación de longitud variable del aviso de selección de transformación para cada partición en el MB expandido es como se describe en las Etapas S80-S92 (Figura 10) a través de la porción de codificación de longitud variable 108 del aparato de codificación de video 10. Las Etapas S133-S135 a través de la porción de codificación de longitud variable 108 son aplicadas como el procedimiento detallado para la codificación de longitud variable del aviso de selección de transformación para una partición específica.

Las operaciones del aparato de codificación de video 11 serán descritas. (Etapa S170) El video de entrada entrado en forma externa en el aparato de codificación de video 11 es entrado, de manera secuencial, en los MBs expandidos en la porción de determinación de parámetro de predicción 102 y la porción de producción de residual de predicción 106. Los procesos de las Etapas S171-S179 que siguen son ejecutados, de manera secuencial, para cada uno de los MBs expandidos. (Etapa S171) La porción de determinación de parámetro de predicción 102 determina el parámetro de predicción para el MB expandido que será procesado en función del video de entrada que es entrado en la misma, y da salida al parámetro de predicción hacia la porción de producción de imagen predictiva 103 y la porción de codificación de longitud variable 113.

(Etapa S172) La porción de producción de imagen predictiva 103 produce la imagen predictiva que se aproxima al área del MB expandido que será procesado en el video de entrada en función del parámetro de predicción entrado en la misma y la imagen decodificada local grabada en la memoria de cuadro 101, y da salida a la imagen predictiva hacia la porción de producción de residual de predicción 106 y la porción de producción de imagen decodificada local 110. (Etapa S173) La porción de producción de residual de predicción 106 produce el residual de predicción que corresponde con el MB expandido que será procesado, en función del video de entrada y la imagen predictiva que son ingresados en la misma, y da salida al residual de predicción hacia la porción de determinación de transformación de frecuencia 112 y la porción de producción de coeficiente de transformación 107.

(Etapa S174) La porción de derivación de candidata de transformación 111 deriva la restricción que se refiere a la transformación de frecuencia para cada partición en el MB expandido que será procesado, en función del parámetro de predicción que es entrado en la misma, y da salida a la restricción hacia la porción de determinación de transformación de frecuencia 112 y la porción de codificación de longitud variable 113. (Etapa S175) La porción de determinación de transformación de frecuencia 112 determina la transformación de frecuencia que será aplicada a cada partición del MB expandido que será procesado, en función de la restricción de transformación y el residual de predicción que son ingresados en la misma, y da salida a la transformación de frecuencia como el aviso de selección de transformación hacia la porción de producción de coeficiente de transformación 107, la porción de codificación de longitud variable 113, y la porción de reconstrucción de residual de predicción 109.

(Etapa S176) La porción de producción de coeficiente de transformación 107 aplica una transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma al residual de predicción entrado en la misma, con lo cual, se produce un coeficiente de transformación que corresponde con el MB expandido que será procesado, y da salida al coeficiente de transformación hacia la porción de codificación de longitud variable 108 y la porción de reconstrucción de residual de predicción 109. (Etapa S177) La porción de reconstrucción de residual de predicción 109 aplica una transformación de frecuencia inversa que corresponde con la transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma en el coeficiente de transformación entrado en la misma, con lo cual, se reconstruye el residual de predicción que corresponde con el MB expandido que será procesado, y da salida al residual de predicción hacia la porción de producción de imagen decodificada local 110.

(Etapa S178) La porción de producción de imagen decodificada local 110 produce la imagen decodificada local en función del residual de predicción y la imagen predictiva que son ingresados en la misma, y da salida a la imagen decodificada local hacia la memoria de cuadro 101 para grabar la imagen decodificada local en la memoria de cuadro 101. (Etapa S179) La porción de codificación de longitud variable 113 codifica de longitud variable el coeficiente de transformación, el parámetro de predicción y el aviso de selección de transformación que son ingresados en la misma, utilizando la restricción de transformación entrada en la misma, y da salida en forma externa a los resultados de la codificación como los datos codificados.

De acuerdo con el procedimiento anterior, el aparato de codificación de video 11 puede codificar el video de entrada entrado en el mismo, también puede producir los datos codificados, y da salida en forma externa a los datos codificados . <Otro Ejemplo del Método de Producción de la Lista de candidatas de transíormación> Un ejemplo del método de producción de la lista de candidatas de transformación es descrito en la descripción que se refiere a la porción de derivación de candidata de transformación 111. Sin embargo, la lista de candidatas de transformación podría ser producida utilizando otro método. Por ejemplo, cuando dos transformaciones de frecuencia DCTa y DCTb que están en una relación análoga (sin embargo, el tamaño de transformación de DCTa es más grande que el tamaño de transformación de DCTb) son incluidas en la transformación preestablecida, el método de producción de la lista de candidatas de transformación es efectivo en el que la DCTa es agregada y la DCTb no es agregada a la lista de candidatas de transformación para una partición incluida en la capa superior y la DCTb es agregada a la lista de candidatas de transformación para una partición incluida en la capa inferior. De manera más específica, cuando una DCT 16x16 y una DCT 8x8 son incluidas en la transformación preestablecida, al menos la DCT 16x16 es agregada y la DCT 8x8 no es agregada a la lista de candidatas de transformación para una partición incluida en la capa LO cuya unidad de procesamiento es de 64x64 píxeles; y por lo menos la DCT 8x8 es agregada a la lista de candidatas de transformación para una partición incluida en la capa Ll cuya unidad de procesamiento es de 32x32 píxeles.

Incluso en el caso en donde la transformación de frecuencia específica DCTb (por ejemplo, una DCT 8x8) no pueda ser seleccionada para una partición incluida en la capa específica Lx, cuando la DCTb pueda ser seleccionada para una partición que pertenece a la capa Ly que es más baja que la capa Lx, un incremento de la cantidad de códigos de los datos codificados puede ser suprimido, no mediante la selección de cualquier partición que pertenece a la capa superior Lx sino mediante la selección de la partición que pertenece a la capa inferior Ly que permite que la DCTb sea seleccionada en el área en la que es efectiva la DCTb. De manera especial, en función del hecho que es efectiva una transformación de frecuencia cuyo tamaño de transformación es grande para una gran partición, esta es efectiva de manera que, para una partición que pertenece a la capa superior Lx, la DCT.a que tiene un tamaño de transformación más grande (por ejemplo, una DCT 16x16) se permite que sea seleccionada en lugar de prohibir que la DCTb sea seleccionada y por otro lado, para una partición que pertenece a la capa inferior Ly, se permite que la DCTb sea seleccionada. <Configuración del Aparato de Decodificación de Video 21> Será descrito el aparato de decodificación de video 21 que produce un video decodificado mediante la decodificación de los datos codificados que son codificados por el aparato de codificación de video 11.

La Figura 14 es un diagrama de bloque de la configuración del aparato de decodificación de video 21. El aparato de decodificación de video 20 incluye la memoria de cuadro 101, la porción de producción de imagen predictiva 103, la porción de reconstrucción de residual de predicción 109, la porción de producción de imagen decodificada local 110, la porción de derivación de candidata de transformación 111, y la porción de decodificación de código de longitud variable 202.

La porción de decodificación de código de longitud variable 202 decodifica el parámetro de predicción, el aviso de selección de transformación y el coeficiente de transformación en función de los datos codificados y la lista de candidatas de transformación que son ingresados en la misma, y da salida a los resultados de la decodificación. De manera más específica, la porción de decodificación de código de longitud variable 202 primero decodifica el parámetro de predicción a partir de los datos codificados y da salida al parámetro de predicción, posteriormente, decodifica el aviso de selección de transformación a partir de los datos codificados utilizando la lista de candidatas de transformación y da salida al aviso de selección de transformación, y finalmente, decodifica el coeficiente de transformación de los datos codificados utilizando el aviso de selección de transformación y da salida al coeficiente de transformación. Cuando el aviso de selección de transformación es decodificado, es necesario conocer cuántos bits son utilizados para codificar el aviso de selección de transformación. Para esto, la información de los elementos incluidos en la lista de candidatas de transformación no es necesariamente requerida sino que es necesaria sólo para conocer el número de elementos incluidos en la lista de candidatas de transformación. En este caso, una señal entrada en la porción de decodificación de código de longitud variable 202 y una señal utilizada para decodificar el aviso de selección de transformación sólo podrían ser una señal que se refiere al número de elementos incluidos en la lista de candidatas de transformación de la lista de candidatas de transformación . <Operaciones del Aparato de Decodificación de Video 21> Las operaciones del aparato de decodificación de video 21 serán descritas. (Etapa S180) Los datos codificados ingresados, en forma externa, en el aparato de decodificación de video 20 son ingresados, de manera secuencial, en la porción de decodificación de código de longitud variable 201 mediante el MB expandido, y después del procesamiento de las Etapas S181-S187 son ejecutados, de manera secuencial, para los datos codificados que corresponden con cada MB expandido. (Etapa S181) La porción de decodificación de código de longitud variable 202 decodifica el parámetro de predicción que corresponde con el MB expandido que será procesado a partir de los datos codificados ingresados en la misma, y da salida al parámetro de predicción hacia la porción de producción de imagen predictiva 103 y la porción de derivación de candidata de transformación 111.

(Etapa S182) La porción de derivación de candidata de transformación 111 deriva la lista de candidatas de transformación para cada partición del MB expandido que será procesado en función del parámetro de predicción entrado en la misma, y da salida a la lista de candidatas de transformación hacia la porción de decodificación de código de longitud variable 202. (Etapa S183) La porción de decodificación de código de longitud variable 202 decodifica el aviso de selección de transformación que corresponde con el MB que será procesado en función de los datos codificados y la restricción de transformación que son ingresados en la misma, y da salida al aviso de selección de transformación hacia la porción de reconstrucción de residual de predicción 109.

(Etapa S184) La porción de decodificación de código de longitud variable 202 decodifica el coeficiente de transformación que corresponde con el MB que será procesado en función de los datos codificados ingresados en la misma y el aviso de selección de transformación derivado en la Etapa S183, y da salida al coeficiente de transformación hacia la porción de reconstrucción de residual de predicción 109. (Etapa S185) La porción de producción de imagen predictiva 103 produce la imagen predictiva que corresponde con el MB expandido que será procesado en función del parámetro de predicción entrado en la misma y la imagen decodificada local grabada en la memoria de cuadro 101, y da salida a la imagen predictiva hacia la porción de producción de imagen decodificada local 110.

(Etapa S186) La porción de reconstrucción de residual de predicción 109 aplica la transformación de frecuencia inversa que corresponde con la transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma, en el coeficiente de transformación entrado en la misma, con lo cual, se reconstruye el residual de predicción que corresponde con el MB expandido que será procesado, y da salida al residual de predicción hacia la porción de producción de imagen decodificada local 110. (Etapa S187) La porción de producción de imagen decodificada local 110 produce la imagen decodificada local en función del residual de predicción y la imagen predictiva que son entradas en la misma, además da salida a la imagen decodificada local hacia la memoria de cuadro 101 para grabar la imagen decodificada local en la memoria de cuadro 101, y da salida en forma externa a la imagen decodificada local como el área en el video decodificado que corresponde con el bloque que será procesado . •cConclusión para el Decodificador> Del mismo modo que con anterioridad, de acuerdo con el aparato de decodificación de video 21, el video decodificado puede ser producido a partir de los datos codificados que a su vez son producidos por el aparato de codificación de video 11.

(Tercera Modalidad) Un aparato de codificación de video 30 y un aparato de decodificación de video 40 que son todavía otra modalidad del aparato de codificación de video y el aparato de decodificación de video de acuerdo con la presente invención serán descritos con referencia a las Figuras 15-16. En la descripción de las figuras que la acompañan, los mismos números de referencia serán dados a los mismos componentes y aquellos componentes no serán descritos una vez más. Se supone que la estructura de partición y la transformación preestablecida que son' disponibles para el aparato de codificación de video 30 y el aparato de decodificación de video 40 son las mismas que aquellas que son utilizadas para el aparato de codificación de video 11 y el aparato de decodificación de video 21.

El aparato de codificación de video 30 y el aparato de decodificación de video 40 en la modalidad son diferentes del aparato de codificación de video 11 y el aparato de decodificación de video 21 porque el aparato de codificación de video 30 y el aparato de decodificación de video 40 incluyen una función que cambia, de manera adaptiva, el método de derivación de la lista de candidatas de transformación a través de la porción de derivación de candidata de transformación que coincide con la propiedad del video en una unidad predeterminada que es más grande que un MB tal como una escena, un cuadro o una rebanada del video.

La Figura 15 es un diagrama de bloque de la configuración del aparato de codificación de video 30. El aparato de codificación de video 30 incluye la memoria de cuadro 101, la porción de determinación de parámetro de predicción 102, la porción de producción de imagen predictiva 103, la porción de producción de residual de predicción 106, la porción de producción de coeficiente de transformación 107, la porción de reconstrucción de residual de predicción 109, la porción de producción de imagen decodificada local 110, la porción de determinación de transformación de frecuencia 112, una porción de determinación de lista de regla de derivación de candidata de transformación 301, una porción de derivación de candidata de transformación 302 y una porción de codificación de longitud variable 303.

La porción de determinación de lista de regla de derivación de candidata de transformación 301 produce una lista de regla de derivación de candidata de transformación que especifica o actualiza el método de derivación de la lista de candidatas de transformación ejecutada por la porción de derivación de candidata de transformación en función del video de entrada que es entrado en unidades predeterminadas que son más grandes que un MB tal como una escena, un cuadro o una rebanada. De aquí en adelante, debido a la simplicidad de la descripción, la lista de regla de derivación de candidata de transformación será descrita suponiendo que esta regla es producida para cada cuadro.

(Definición de la Regla de Derivación de la Lista de Candidatas de Transformación) La lista de regla de derivación de candidata de transformación es definida como una combinación de las reglas básicas que son enlistadas como sigue. Regla Básica 1: Esta regla especifica la adición de una transformación de frecuencia predeterminada B en la transformación preestablecida a la lista de candidatas de transformación para una partición predeterminada A. De aquí en adelante, la regla básica 1 es descrita en una forma de [permiso, partición A, transformación de frecuencia B] . Por ejemplo, el [permiso, 64x64, T16xl6] indica la adición de una transformación de frecuencia de T16xl6 a la lista de candidatas de transformación para una partición de 64x64.

Regla Básica 2: Esta regla especifica la prohibición de la transformación de frecuencia predeterminada B en la transformación preestablecida de ser incluida en la lista de candidatas de transformación para la partición predeterminada A. De aquí en adelante, la regla básica 2 es descrita en una forma de [prohibición, partición A, transformación de frecuencia B] . Por ejemplo, la [prohibición, 64x64, T4x4] indica la prohibición T4x4 para una partición que tiene un tamaño de 64x64 y la no inclusión de T4x4 en la lista de candidatas de transformación.

Regla Básica 3 : Esta regla especifica el reemplazo de la transformación de frecuencia B en la lista de candidatas de transformación con otra transformación de frecuencia C cuando la transformación de frecuencia predeterminada B en la transformación preestablecida es incluida en la lista de candidatas de transformación para la partición predeterminada A. De aquí en adelante, la regla básica 3 es descrita en una forma de [reemplazo, partición A, transformación de frecuencia B, transformación de frecuencia C] . Por ejemplo, [reemplazo, 64x32, T4x4 , T16xl] indica la exclusión de T4x4 de la lista de candidatas de transformación, y en su lugar, la adición de T16xl a la lista de candidatas de transformación cuando T4x4 es incluido en la lista de candidatas de transformación para una partición que tiene un tamaño de 64x32.

La lista de regla de derivación de candidata de transformación incluye una pluralidad de reglas básicas y cada una de las reglas básicas es clasificada en cualquiera una de las reglas básicas 1-3.

En la lista de regla de derivación de candidata de transformación, además de las reglas básicas, o en lugar de las reglas básicas, podría ser incluida una regla compleja expresada por una combinación de las reglas básicas. Los ejemplos de algunas de las reglas complejas serán enlistados.

Regla Compleja 1: Una transformación específica es prohibida para una partición que pertenece a una capa específica. Por ejemplo, una regla de prohibición de cualquier transformación cuyo tamaño es T8x8 o más pequeño en la capa LO corresponde con esta regla compleja 1. La regla compleja (Rl) puede ser expresada como un conjunto de las reglas básicas como sigue.

Rl= {[prohibición, P, T] : ("P" es una partición que pertenece a la capa LO) ? (»t" es una transformación de frecuencia de T8x8 o más pequeña) } .

Una regla también corresponde con esta regla compleja 1, de la prohibición de cualquier transformación de frecuencia cuyo tamaño es pequeño en transformaciones de frecuencia en la relación análoga en una capa que es superior que la capa predeterminada, de manera más específica, una regla de prohibición de T8x8 y T4x4 de las transformaciones de T16xl6, T8x8 y T4x4 que están en una relación análoga en la capa que es superior que la capa Ll .

Regla Compleja 2: Una transformación específica A es reemplazada con una transformación específica B para una partición que tiene una forma específica. Por ejemplo, una regla de reemplazo de una transformación de frecuencia rectangular con una transformación de frecuencia de cuadro específico (por ejemplo, T4x4) para una partición de cuadro corresponde con esta regla compleja 2. La regla compleja (R2) puede ser expresada como un conjunto de las reglas básicas como sigue: R2={ (reemplazo, P, T, T4x4] : (P € particiones de cuadro) ? (T € transformaciones de frecuencia rectangulares) } .

Una regla de reemplazo de una transformación de frecuencia de cuadro con una transformación de frecuencia rectangular lateralmente larga para una partición rectangular lateralmente larga también corresponde con esta regla complej a 2.

(Procedimiento para Determinar la Regla de Derivación de la Lista de la Candidata de Transformación) Las reglas candidatas que tienen, como sus elementos, las reglas básicas y las reglas complejas son especificadas con anticipación antes del inicio del procesamiento de codificación, y la lista de regla de derivación de candidata de transformación es establecida para estar vacía. El costo de distorsión de relación es calculado para el caso en donde el procesamiento de codificación es ejecutado aplicando cada una de las reglas básicas o cada una de las reglas complejas incluidas en las reglas candidatas a cada cuadro que es entrado. El costo de distorsión de relación Cl también es calculado para el caso en donde todas las reglas candidatas no son aplicadas. En comparación entre el costo de distorsión de relación C2 calculado para el caso en donde es aplicada cada una de las reglas básicas o cada una de las reglas complejas, y el costo Cl, cuando el costo C2 es más pequeño que el costo Cl, se determina que la regla básica o la regla compleja es aplicada e incluida en la lista de regla de derivación de candidata de transformación.

De acuerdo con el procedimiento anterior, sólo la regla básica o la regla compleja de las reglas candidatas predeterminadas que pueden reducir el costo de distorsión de relación mediante la aplicación cuando se codifica un cuadro, es agregada a la lista de regla de derivación de candidata de transformación.

La porción de derivación de candidata de transformación 302 da salida a la información en las transformaciones de frecuencia que puede ser seleccionada en cada partición en el MB expandido ' como una lista de candidatas de transformación en función del parámetro de predicción que es entrado y la lista de regla de derivación de candidata de transformación. La lista de candidatas de transformación es correlacionada con cada partición en el MB expandido y especifica un conjunto de las transformaciones de frecuencia que puede ser seleccionado en cada partición de las transformaciones de frecuencia incluidas en la transformación preestablecida. En esta etapa, la lista de regla de derivación de candidata de transformación que es entrada también es utilizada para el procesamiento de derivación de la lista de candidatas de transformación.

Un procedimiento es como sigue para la producción de la lista de candidatas de transformación Cp, para la partición específica p en función de la lista de regla de derivación de candidata de transformación que es entrada. Se supone que el tamaño de la partición p es Mx pixeles (en dirección lateral, M pixeles y, en dirección longitudinal, N píxeles) .

(Etapa S200) Cuando las reglas complejas son incluidas en la lista de regla de derivación de candidata de transformación, cada una de las reglas complejas es separada en las reglas básicas y estas reglas básicas son agregadas a la lista de regla de derivación de candidata de transformación. (Etapa S201) El procesamiento de la Etapa S202 es ejecutado para todas las reglas básicas que pertenecen a la regla básica 1 que son incluidas en la lista de candidatas de transformación. (Etapa S202) La regla básica 1 que será procesada es expresada como [permiso, Pl, TI] . Cuando la forma de la partición p y Pl coinciden entre sí, una transformación de frecuencia TI es agregada a la lista de candidatas de transformación. (Etapa S203) El procesamiento de la Etapa S204 es ejecutado para todas las reglas básicas que pertenecen a la regla básica 2 que son incluidas en la lista de candidatas de transformación.

(Etapa S204) La regla básica 2 que será procesada es expresada como [prohibición, P2 , T2] . Cuando la forma de la partición p y P2 coinciden entre sí y la transformación de frecuencia T2 está presente en la lista de candidatas de transformación, la transformación de frecuencia T2 es removida de la lista de candidatas de transformación. (Etapa S205) El procesamiento de la Etapa S206 es ejecutado para todas las reglas básicas que pertenecen a la regla básica 3 que son incluidas en la lista de candidatas de transformación. (Etapa S206) La regla básica 2 que será procesada es expresada como [reemplazo, P3, T3 , T4] . Cuando la forma de la partición p y P3 coinciden entre sí y una transformación de frecuencia T3 está presente en la lista de candidatas de transformación, la transformación de frecuencia T3 es reemplazada con una transformación de frecuencia T4.

De acuerdo con el procedimiento anterior, la porción de derivación de candidata de transformación 302 puede derivar la lista de candidatas de transformación de acuerdo con la lista de regla de derivación de candidata de transformación entrada en la misma.

La porción de codificación de longitud variable 303 produce los datos codificados que corresponden, de manera respectiva, con el coeficiente de transformación, el parámetro de predicción, la lista de candidatas de transformación, el aviso de selección de transformación, y la lista de la regla de derivación de candidata de transformación que son ingresados en la misma, y da salida a los datos codificados.

Los detalles del procesamiento de producción de los datos codificados que corresponden con la lista de la : regla de derivación de candidata de transformación serán descritos. Los datos codificados son producidos mediante la codificación de longitud variable de cada una de las reglas básicas o las reglas complejas que son incluidas en la lista de la regla de derivación de candidata de transformación. En la codificación de longitud variable de la regla básica, la información primero es codificada de manera que indique en cuál de las reglas básicas 1-3 es clasificada la regla básica que será codificada, y posteriormente, la información es codificada de manera que indique la partición en la cual es aplicada la regla básica. Finalmente, la información que indica la transformación de frecuencia permitida es codificada en el caso de la regla básica 1, la información que indica la transformación de frecuencia prohibida es codificada en el caso de la regla básica 2, y la información que indica el tipo de cada transformación de frecuencia antes y después del reemplazo es codificada en el caso de la regla básica 3. Cuando la regla básica puede ser incluida en la lista de la regla de derivación de candidata de transformación es determinada con anticipación, la cantidad de los códigos puede ser reducida determinando la información que indica si la regla básica es aplicada para que sean los datos codificados en lugar de la codificación de longitud variable de las reglas básicas de acuerdo con el método anterior. Cuando se determine por adelantado que una regla básica específica siempre es aplicada, no es necesario realizar la codificación de longitud variable a la regla básica.

Una regla compleja es codificada una vez que la regla compleja es separada en reglas básicas. Cuando la regla compleja puede ser incluida en la lista de la lista de derivación de candidata de transformación es determinada por adelantado, la cantidad de códigos puede ser reducida determinando la información que indica si la regla compleja es aplicada para que sean los datos codificados. Por ejemplo, es posible codificar en donde se aplica o no la regla compleja que prohibe T4x4 y T8x8 en una partición que es más grande que 32x32 como un aviso de 1 bit.

Podría ser posible codificar la información que indica con o sin aplicación para cada una de las reglas básicas incluidas en un grupo de reglas que es especificado al manejar en forma colectiva las reglas básicas específicas o las reglas complejas específicas, para codificar un aviso que indica en donde se estima o no con o sin aplicación para todas las reglas básicas incluidas en el grupo de reglas. De manera más específica, cuando las reglas complejas indican si T16xl6, T8x8 y T4x4 son aplicados en la capa L3 son expresados, de manera respectiva, como "enable_tl6xl6_L3" , "enable_tl6xl6_L3" y "enable_tl6xl6_L3" , un grupo de regla "enable_L3" es producido al manejar en forma colectiva estas tres reglas complejas. En la codificación, si es aplicada enable_L3 , es codificada por un primer bit. Cuando es aplicada enable_L3 , si es aplicada cada regla compleja incluida en el grupo de reglas, es codificada por un bit.

Cuando no es aplicada enable_L3, si es aplicada cada regla compleja, es estimada de acuerdo con un método predeterminado .

Las reglas básicas y las reglas complejas podrían ser codificadas, de manera colectiva, sin codificar de longitud variable estas reglas una por una. Por ejemplo, sólo cuando es codificado un aviso que indique si todas las reglas básicas no son aplicadas o por lo menos es aplicada una regla básica y este aviso indica que por lo menos es aplicada una regla básica, la información podría ser codificada de manera que indique si es aplicada cada una de las reglas básicas. Además, un aviso podría ser codificado de manera que indique si la lista de la regla de derivación de candidata de transformación aplicada en un cuadro previo es continuamente aplicada, y sólo cuando ésta lista de la regla de derivación de candidata de transformación no es continuamente aplicada, podría ser codificada la lista de la regla de derivación de candidata de transformación.

Las operaciones del aparato de codificación de video 30 serán descritas. (Etapa S210) El video de entrada entrado en forma externa en el aparato de codificación de video 30 es entrado cuadro por cuadro en la porción de determinación de lista de la regla de derivación de candidata de transformación 301, y es entrado, de manera secuencial, en la porción de determinación de parámetro de predicción 102 y la porción de producción de residual de predicción 106 a través del MB expandido. Los procesos de las Etapas S211-S212 son ejecutados para cada cuadro y los procesos de las Etapas S213-S221 son ejecutados para cada MB expandido. (Etapa S211) La porción de determinación de lista de la regla de derivación de candidata de transformación 301 produce la lista de la regla de derivación de candidata de transformación en función del cuadro entrado en la misma, y da salida a la lista de la regla de derivación de candidata de transformación hacia la porción de derivación de candidata de transformación 302 y la porción de codificación de longitud variable 303.

(Etapa S212) La porción de codificación de longitud variable 303 produce los correspondientes datos codificados en función de la lista de la regla de derivación de candidata de transformación entrada en la misma, y da salida en forma externa a los correspondientes datos codificados. (Etapa S213) La porción de determinación de parámetro de predicción 102 determina el parámetro de predicción para el MB expandido que será procesado en función del video de entrada entrado en la misma, y da salida al parámetro de predicción hacia la porción de producción de imagen predictiva 103, la porción de derivación de candidata de transformación 302, y la porción de codificación de longitud variable 303. (Etapa S214) La porción de producción de imagen predictiva 103 produce la imagen predictiva que se aproxima al área del MB expandido que será procesado en el video de entrada, en función del parámetro de predicción entrado en la misma y la imagen decodificada local grabada en la memoria de cuadro 101, y da salida a la imagen predictiva hacia la porción de producción de residual de predicción 106 y la porción de producción de imagen decodificada local 110.

(Etapa S215) La porción de producción de residual de predicción 106 produce el residual de predicción que corresponde con el MB expandido que será procesado en función del video de entrada y la imagen predictiva que son ingresados en la misma, y da salida al residual de predicción hacia la porción de determinación de transformación de frecuencia 112 y la porción de producción de coeficiente de transformación 107. (Etapa S216) La porción de derivación de candidata de transformación 302 deriva la restricción que se refiere a la transformación de frecuencia para cada partición del MB expandido que será procesado en función del parámetro de predicción y la lista de la regla de derivación de candidata de transformación que son ingresados en la misma, y da salida a la restricción hacia la porción de determinación de transformación de frecuencia 112 y la porción de codificación de longitud variable 303.

(Etapa S217) La porción de determinación de transformación de frecuencia 112 determina la transformación de frecuencia que será aplicada en cada partición del MB expandido que será procesado en función de la restricción de transformación y el residual de predicción que son ingresados en la misma, y da salida a la transformación de frecuencia como el aviso de selección de transformación hacia la porción de producción de coeficiente de transformación 107, la porción de codificación de longitud variable 303, y la porción de reconstrucción de residual de predicción 109. (Etapa S218) La porción de producción de coeficiente de transformación 107 aplica la transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma en el residual de predicción entrado en la misma, con lo cual, se produce el coeficiente de transformación que corresponde con el MB expandido que será procesado, y da salida al coeficiente de transformación hacia la porción de codificación de longitud variable 108 y la porción de reconstrucción de residual de predicción 109. (Etapa S219) La porción de reconstrucción de residual de predicción 109 aplica la transformación de frecuencia inversa que corresponde con la transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma, en el coeficiente de transformación entrado en la misma, con lo cual, se reconstruye el residual de predicción que corresponde con el MB expandido que será procesado, y da salida al residual de predicción hacia la porción de producción de imagen decodificada local 110.

(Etapa S220) La porción de producción de imagen decodificada local 110 produce la imagen decodificada local en función del residual de predicción y la imagen predictiva que son ingresados en la misma, y da salida a la imagen decodificada local hacia la memoria de cuadro 101 para grabar la imagen decodificada local en la memoria de cuadro 101. (Etapa S221) La porción de codificación de longitud variable 303 codifica de longitud variable el coeficiente de transformación, el parámetro de predicción y el aviso de selección de transformación que son ingresados en la misma, utilizando la restricción de transformación entrada en la misma, y da salida en forma externa a los datos resultantes como los datos codificados.

De acuerdo con el procedimiento anterior, el aparato de codificación de video 30 puede codificar el video de entrada que es entrado en el mismo, con lo cual, se producen los datos codificados, y da salida en forma externa a los datos codificados. <Configuración del Aparato de Decodificación de Video 40> Será descrito el aparato de decodificación de video 40 que decodifica los datos codificados que son codificados por el aparato de codificación de video 30 y que, con lo cual, produce el video decodificado .

La Figura 16 es un diagrama de bloque de la configuración del aparato de decodificación de imagen 40. El aparato de decodificación de video 40 incluye la memoria de cuadro 101, la porción de producción de imagen predictiva 103, la porción de reconstrucción de residual de predicción 109, la porción de producción de imagen decodificada local 110, la porción de derivación de candidata de transformación 302, y la porción de decodificación de código de longitud variable 401.

La porción de decodificación de código de longitud variable 401 decodifica el parámetro de predicción, el aviso de selección de transformación, el coeficiente de transformación y la lista de la regla de derivación de candidata de transformación en función de los datos codificados y la lista de candidatas de transformación que son ingresados en la misma, y da salida a los resultados de la decodificación. De manera más específica, la porción de decodificación de código de longitud variable 401: primero decodifica y da salida a la lista de la regla de derivación de candidata de transformación; posteriormente, decodifica el parámetro de predicción de los datos codificados y da salida al parámetro de predicción; entonces, decodifica el aviso de selección de transformación de los datos codificados utilizando la lista de candidatas de transformación y da salida al aviso de selección de transformación; y finalmente, decodifica el coeficiente de transformación de los datos codificados utilizando el aviso de selección de transformación y da salida al coeficiente de transformación. <Operaciones del Aparato de Decodificación de Video 40> Las operaciones del aparato de decodificación de video 40 serán descritas. (Etapa S230) Los datos codificados ingresados en forma externa al aparato de decodificación de video 40 son ingresados, de manera secuencial, en la porción de decodificación de código de longitud variable 401 en cuadros. Los procesos de las Etapas S231-S239 que siguen son ejecutados, de manera secuencial, para los datos codificados que corresponden con cada cuadro. (Etapa S231) La porción de decodificación de código de longitud variable 401 decodifica la lista de la regla de derivación de candidata de transformación que corresponde con el cuadro que será procesado, de los datos codificados ingresados en la misma, y da salida a la lista de la regla de derivación de candidata de transformación hacia la porción de derivación de candidata de transformación 302.

(Etapa S232) La porción de decodificación de código de longitud variable 401 divide los datos codificados para cada cuadro entrado en la misma en datos codificados para cada MB expandido. Los procesos de las Etapas S233-S239 que siguen son ejecutados, de manera secuencial, para los datos codificados que corresponden con cada B expandido. (Etapa S233) La porción de decodificación de código de longitud variable 401 decodifica el parámetro de predicción a partir de cada uno de los datos codificados que corresponden con el MB expandido que será procesado, y da salida al parámetro de predicción hacia la porción de derivación de candidata de transformación 302. (Etapa S234) La porción de derivación de candidata de transformación 302 deriva la lista de candidatas de transformación para cada partición del MB expandido que será procesado en función de la lista de la regla de derivación de candidata de transformación y el parámetro de predicción que son ingresados en la misma, y da salida a la lista de candidatas de transformación hacia la porción de decodificación de código de longitud variable 401.

(Etapa S235) La porción de decodificación de código de longitud variable 401 decodifica el aviso de selección de transformación que corresponde con el MB que será procesado en función de los datos codificados y la restricción de transformación que son ingresados en la misma, y da salida al aviso de selección de transformación hacia la porción de reconstrucción de residual de predicción 109. (Etapa S236) La porción de decodificación de código de longitud variable 202 decodifica el coeficiente de transformación que corresponde con el MB expandido que será procesado, en función de los datos codificados ingresados en la misma y el aviso de selección de transformación derivado en la Etapa S235, y da salida al coeficiente de transformación hacia la porción de reconstrucción de residual de predicción 109. (Etapa S237) La porción de producción de imagen predictiva 103 produce la imagen predictiva que corresponde con el MB expandido que será procesado en función del parámetro de predicción entrado en la misma y la imagen decodificada local grabada en la memoria de cuadro 101, y da salida a la imagen predictiva hacia la porción de producción de imagen decodificada local 110.

(Etapa S238) La porción de reconstrucción de residual de predicción 109 aplica la transformación de frecuencia inversa que corresponde con la transformación de frecuencia especificada por el aviso de selección de transformación entrado en la misma, en el coeficiente de transformación entrado en la misma, con lo cual, se reconstruye el residual de predicción que corresponde con el MB expandido que será procesado, y da salida al residual de predicción reconstruido hacia la porción de producción de imagen decodificada local 110. (Etapa S239) La porción de producción de imagen decodificada local 110 produce la imagen decodificada local en función del residual de predicción y la imagen predictiva que son ingresados en la misma, da salida a la imagen decodificada local hacia la memoria de cuadro 101 para grabar la imagen decodificada local en la memoria de cuadro 101, y da salida en forma externa a la imagen decodificada local como el área en el video decodificado que corresponde con el bloque que será procesado.

Del mismo modo que con anterioridad, de acuerdo con el aparato de decodificación de video 40, el video decodificado puede ser producido a partir de los datos codificados producidos por el aparato de codificación de video 11.

Una porción o la totalidad del aparato de codificación de video y el aparato de decodificación de video en cada una de las modalidades podrían ser típicamente implementadas como una LSI (Integración de Escala Larga) que es un circuito integrado. Cada uno de los bloques funcionales del aparato de codificación de video y el aparato de decodificación de video podría ser implementado , de manera individual, como un chip, o una porción o la totalidad de estos bloques funcionales podrían ser integradas en un chip. El procedimiento de implementación de los mismos como un circuito integrado podría ser realizado no sólo por una LSI sino también un circuito dedicado o procesadores de múltiples usos. Cuando es establecida una técnica de implementación de la misma como circuitos integrados de manera que se superponga a las LSIs debido al avance de la tecnología de semiconductores, esta técnica también podría ser utilizada.

Explicación de las Letras o Números 10...aparato de codificación de video, 11... aparato de codificación de video, 20... aparato de decodificación de video, 21... aparato de decodificación de video, 30...aparato de codificación de video, 40...aparato de decodificación de video, 101... memoria de cuadro, 102... porción de determinación de parámetro de predicción, 103... porción de producción de imagen predictiva, 104... porción de derivación de restricción de transformación, 105... porción de determinación de transformación de frecuencia, 106... porción de producción del residual de predicción, 107...porción de producción de coeficiente de transformación, 108... porción de codificación de longitud variable, 109...porción de reconstrucción del residual de predicción, 110... porción de producción de imagen decodificada local, 111... porción de derivación de candidata de transformación, 112... porción de determinación de transformación de frecuencia, 113... porción de codificación de longitud variable, 201... porción de decodificación de código de longitud variable, 202... porción de decodificación de código de longitud variable, 301...porción de determinación de regla de derivación de lista de candidata, 302...porción de derivación de candidata de transformación, 303... porción de codificación de longitud variable, 401... porción de decodificación de longitud variable .

Se hace constar que con relación a esta fecha el mejor método conocido por la solicitante para llevar a la práctica la citada invención es el que resulta claro de la presente descripción de la invención .

Claims

REIVINDICACIONES Habiéndose descrito la invención como antecede, se reclama como propiedad lo contenido en las siguientes reivindicaciones :

1. Un aparato de codificación de video que divide un video de entrada en bloques de tamaño predeterminado y ejecuta un procesamiento de codificación para cada bloque, caracterizado porque comprende: una porción de determinación de parámetro de predicción que determina una estructura de partición del bloque ; una porción de producción de imagen predictiva que produce una imagen predictiva para cada partición especificada por la estructura de partición; una porción de producción de coeficiente de transformación que aplica cualquiera una de las transformaciones incluidas en la transformación predeterminada preestablecida en un residual de predicción que es una diferencia entre la imagen predictiva y el video de entrada; una porción de derivación de candidata de transformación que determina una lista de candidatas de transformación que es una lista de transformaciones aplicables en función de la información de forma de partición; una porción de determinación de transformación de frecuencia que determina, para cada uno de los bloques, un aviso de selección de transformación que indica las transformaciones que serán aplicadas al residual de predicción en el bloque de entre las transformaciones incluidas en la lista de candidatas de transformación; y una porción de codificación de longitud variable que codifica de longitud variable el aviso de selección de transformación en función de la lista de candidatas de transformación .

2. El aparato de codificación de video de conformidad con la reivindicación 1, caracterizado además porque comprende una porción de derivación de restricción de transformación que produce una lista de transformación prohibida que es una lista de transformaciones que no pueden ser aplicadas a cada partición en función de la información de forma de partición, en donde la porción de codificación de longitud variable codifica de longitud variable el aviso de selección de transformación en función de la lista de candidatas de transformación que es derivada en función de la lista de transformación prohibida y la transformación preestablecida.

3. El aparato de codificación de video de conformidad con la reivindicación 1 ó 2, caracterizado porque la información de forma de partición es la relación de una longitud longitudinal con una longitud lateral de una partición, o una relación de magnitud entre la longitud longitudinal y la longitud lateral de la partición.

4. El aparato de codificación de video de conformidad con cualquiera una de las reivindicaciones 1-3, caracterizado porque la estructura de partición es expresada por una estructura de capa, y especifica que cada partición es incluida en cualquier capa que corresponda con la forma de la partición, y la información de forma de partición incluye una capa a la que pertenece la partición.

5. El aparato de codificación de video de conformidad con cualquiera una de las reivindicaciones 1-4, caracterizado porque la transformación predeterminada preestablecida incluye por lo menos una transformación cuyo tamaño de transformación es un cuadro y por lo menos una transformación cuyo tamaño de transformación es un rectángulo lateralmente largo, o un rectángulo longitudinalmente largo, cuando una longitud lateral de la partición es más larga que la longitud longitudinal de la misma, la porción de derivación de candidata de transformación incluye al menos una transformación de rectángulo lateralmente largo en la lista de candidatas de transformación, cuando una longitud longitudinal de una partición es más larga que la longitud lateral de la misma, la porción de derivación de candidata de transformación incluye al menos una transformación de rectángulo longitudinalmente largo en la lista de candidatas de transformación, y cuando una longitud longitudinal de la partición es igual a la longitud lateral de la misma, la porción de derivación de candidata de transformación incluye al menos una transformación de cuadro en la lista de candidatas de transformación .

6. El aparato de codificación de video de conformidad con cualquiera una de las reivindicaciones 1-5, caracterizado porque la transformación predeterminada preestablecida incluye por lo menos una o más trans ormaciones cuyo tamaño de transformación es un rectángulo lateralmente largo cuya altura es un píxel, y cuando la longitud lateral de la partición es más larga que la longitud longitudinal de la misma, la porción de derivación de candidata de transformación incluye en la lista de candidatas de transformación una transformación cuyo tamaño de transformación es un rectángulo lateralmente largo cuya altura es de un píxel.

7. El aparato de codificación de video de conformidad con cualquiera una de las reivindicaciones 2-6, caracterizado porque la transformación predeterminada preestablecida incluye por lo menos dos o más transformaciones cuyos tamaños de transformación están en forma mutua en una relación análoga, y cuando cada uno de los valores más pequeños de la longitud longitudinal y la longitud lateral de la partición es igual o más grande que un valor predeterminado de umbral, la porción de derivación de restricción de transformación incluye en la lista de transformación prohibida una transformación cuyo tamaño de transformación es el más pequeño entre aquellos de las transformaciones que tienen el tamaño de transformación que soporta una relación análoga entre sí.

8. El aparato de codificación de video de conformidad con cualquiera una de las reivindicaciones 4-7, caracterizado porque la transformación predeterminada preestablecida incluye una primera transformación y una segunda transformación que tiene una relación de magnitud igual entre la longitud longitudinal y la longitud lateral en el tamaño de transformación a la de la primera trans ormación y que tiene un tamaño de transformación más pequeño que el de la primera transformación, la estructura de partición es expresada por una estructura de capa y es especificada de manera que cada partición es incluida en cualquier capá que corresponda con la forma de la partición, y la porción de derivación de candidata de transformación incluye la primera transformación en la lista de candidatas de transformación y no incluye la segunda transformación en la lista de candidatas de transformación cuando la partición pertenece a una capa predeterminada que no es la capa más inferior, e incluye la segunda transformación en la lista de candidatos de transformación cuando la partición pertenece a una capa inferior que la capa predeterminada que no es la capa más inferior.

9. Un aparato de decodificación de video que ejecuta un procesamiento de decodificación para los datos codificados ingresados para cada bloque, caracterizado porque comprende: una porción de decodificación de longitud variable que decodifica una estructura de partición de un bloque que será procesado a partir de los datos codificados ingresados; una porción de producción de imagen predictiva que produce una imagen predictiva para cada partición que es especificada por la estructura de partición; y una porción de derivación de candidata de transformación que determina una lista de candidatas de transformación que es una lista de transformaciones aplicables en función de la información de forma de partición, en donde la porción de decodificación de longitud variable decodifica un aviso de selección de transformación en función de los datos decodificados ingresados y la lista de candidatas de transformación, así como también, decodifica un coeficiente de transformación del bloque que será procesado en función del aviso de selección de transformación, el aparato de decodificación de video además comprende : una porción de reconstrucción de residual de predicción que reconstruye un residual de predicción mediante la aplicación de transformaciones inversas al coeficiente de transformación, las transformaciones inversas corresponden con las transformaciones, las transformaciones son especificadas por el aviso de selección de transformación; y una porción de producción de imagen decodificada local que da salida a los datos decodificados de imagen en función de la imagen predictiva y el residual de predicción, los datos decodificados de imagen corresponden con el bloque que será procesado.

10. El aparato de decodificación de video de conformidad con la reivindicación 9, caracterizado además porque comprende una porción de derivación de restricción de transformación que produce una lista de transformación prohibida que es una lista de transformaciones que no pueden ser aplicadas a cada partición en función de la información de forma de partición, en donde la porción de decodificación de longitud variable decodifica de longitud variable el aviso de selección de transformación en función de la lista de candidatas de transformación que es derivada en función de la lista de transformación prohibida y la transformación preestablecida.

11. El aparato de decodificación de video de conformidad con la reivindicación 9 ó 10, caracterizado porque la información de forma de partición es la relación de la longitud longitudinal con la longitud lateral de una partición, o la relación de magnitud entre la longitud longitudinal y la longitud lateral de la partición.

12. El aparato de decodificación de video de conformidad con cualquiera una de las reivindicaciones 9-11, caracterizado porque la estructura de partición es expresada por una estructura de capa, y especifica que cada partición es incluida en cualquier capa, y la información de forma de partición incluye una capa a la que pertenece la partición.

13. El aparato de decodificación de video de conformidad con cualquiera una de las reivindicaciones 9-12, caracterizado porque la transformación predeterminada preestablecida incluye por lo menos una transformación cuyo tamaño de transformación es un cuadro y por lo menos una transformación cuyo tamaño de transformación es un rectángulo lateralmente largo, o un rectángulo longitudinalmente largo, cuando una longitud lateral de la partición es más larga que la longitud longitudinal de la misma, la porción de derivación de candidata de transformación deriva una lista de candidatas de transformación que incluye por lo menos una transformación de rectángulo lateralmente largo, cuando la longitud longitudinal de la partición es más larga que la longitud lateral de la misma, la porción de derivación de candidata de transformación deriva una lista de candidatas de transformación que incluye al menos una transformación de rectángulo longitudinalmente largo, y cuando la longitud longitudinal de la partición es igual a la longitud lateral de la misma, la porción de derivación de candidata de transformación deriva una lista de candidatas de transformación que incluye al menos una transformación de cuadro.

14. El aparato de decodificación de video de conformidad con cualquiera una de las reivindicaciones 10-13, caracterizado porque la transformación predeterminada preestablecida incluye por lo menos dos o más transformaciones cuyos tamaños de transformación están en forma mutua en una relación análoga, y cuando cada uno de los valores más pequeños de la longitud longitudinal y la longitud lateral de la partición es igual o más grande que un valor predeterminado de umbral, la porción de derivación del candidato de transformación deriva una lista de candidatas de transformación que excluye una transformación cuyo tamaño de transformación es el más pequeño entre aquellos de las transformaciones que soportan una relación análoga entre sí.

15. El aparato de decodificación de video de conformidad con cualquiera una de las reivindicaciones 12 a 14, caracterizado porque la transformación predeterminada preestablecida incluye una primera transformación y una segunda transformación que tiene una relación de magnitud igual entre la longitud longitudinal y la longitud lateral en el tamaño de transformación a la de la primera transformación y que tiene un tamaño de transformación más pequeño que el de la primera transformación, la estructura de partición es expresada por una estructura de capa y es especificada de manera que cada partición es incluida en cualquier capa que corresponda con la forma de la partición, y la porción de derivación de candidata de transformación incluye la primera transformación y excluye la segunda transformación de la lista de candidatas de transformación cuando la partición pertenece a una capa predeterminada que no es la capa más inferior, e incluye la segunda transformación en la lista de candidatas de transformación cuando la partición pertenece a una capa más baja que la capa predeterminada que no es la capa más inferior .