ES1246564U

ES1246564U - Sistema de pantalla holografica

Info

Publication number: ES1246564U
Application number: ES202030442U
Authority: ES
Inventors: Andres Ricardo Montesa; Andres Javier Montesa
Original assignee: Brainstorm Multimedia SL
Current assignee: Brainstorm Multimedia SL
Priority date: 2020-03-10
Filing date: 2020-03-10
Publication date: 2020-05-20
Anticipated expiration: 2030-03-10
Also published as: EP3879499A1; ES1246564Y

Abstract

Sistema de pantalla holográfica (1), caracterizado porque comprende: - una pantalla (2); - una cámara de vídeo (3); - una estación gráfica (4) conectada con al menos la pantalla (2) y con la cámara de vídeo (3); donde la estación gráfica (4) comprende al menos: - una memoria (4.1) en la que se almacena un modelo tridimensional (7) réplica de una escena real (8) donde se sitúan al menos la pantalla (2) y la cámara de vídeo (3); - un procesador (4.2) configurado para calcular una posición relativa entre la pantalla (2) y la cámara de vídeo (3) a partir de unas coordenadas en 3D de una posición y una orientación de la pantalla (2) y de unas coordenadas en 3D de una posición y una orientación de la cámara de vídeo (3); y, - un motor gráfico (4.6) que, renderizando el modelo tridimensional (7), calcula una porción de la escena real (8) que, mostrada en la pantalla (2), da lugar a un efecto de transparencia de la pantalla (2) en la escena real (8); estando la estación gráfica (4) configurada para proyectar sobre la pantalla (2) la porción de la escena real (8) y un objeto virtual (9).

Description

DESCRIPCIÓN

SISTEMA DE PANTALLA HOLOGRÁFICA

OBJETO DE LA INVENCIÓN

La invención consiste en un sistema de pantalla holográfica. Más concretamente, se trata de un sistema que, dada la posición en el espacio desde la que se ve una escena de la que dicha pantalla forma parte, genera una imagen alimentando la pantalla para crear un efecto de pantalla invisible para el espectador, es decir, que consigue la ilusión óptica de ver a través de la pantalla. Además, el sistema es capaz de añadir a la imagen generada, elementos gráficos tridimensionales que parecerán flotar en el espacio visualizado a través de la pantalla.

SECTOR DE LA TÉCNICA

La invención pertenece al sector de las tecnologías audiovisuales, incluyendo el tratamiento de imágenes en 2D y 3D.

ANTECEDENTES DE LA INVENCIÓN

En el estado de la técnica se conoce el tratamiento audiovisual de imágenes sintéticas, es decir, imágenes generadas por ordenador que combinan elementos reales captados por cámaras de vídeo con elementos virtuales que se añaden holográficamente.

Sin embargo, se desconoce en el estado de la técnica sistemas de tratamiento audiovisual donde el elemento proyectante (una pantalla) sea simultáneamente parte integrante de la escena real capturada por las cámaras de vídeo y a su vez sea el elemento generador del efecto holográfico.

BREVE DESCRIPCIÓN DE LA INVENCIÓN

En un aspecto de la invención, se divulga un sistema de pantalla holográfica. El sistema de pantalla holográfica comprende una pantalla, una cámara de vídeo y una estación gráfica, la cual está conectada al menos con la pantalla y con la cámara de vídeo. La estación gráfica comprende una memoria en la que se almacena un modelo tridimensional réplica de una escena real donde se sitúan al menos la pantalla y la cámara de vídeo. Adicionalmente, la estación gráfica comprende un procesador configurado para calcular una posición relativa entre la pantalla y la cámara de vídeo a partir de las coordenadas en 3D de una posición y una orientación de la pantalla y de las coordenadas en 3D de una posición y una orientación de la cámara de vídeo. Adicionalmente, la estación gráfica comprende un motor gráfico que, renderizando el modelo tridimensional, calcula una porción de la escena real que, mostrada en la pantalla, da lugar a un efecto de transparencia de la pantalla en la escena real. La estación gráfica está configurada para proyectar sobre la pantalla la porción de la escena real y un objeto virtual.

La estación gráfica permite añadir uno o varios objetos virtuales que aparecerán como gráficos con efecto holográfico sobre la pantalla.

La porción de la escena real sobre el modelo tridimensional se calcula teniendo en cuenta que la porción de la escena real se muestra en la pantalla, y que la pantalla se visualiza desde el punto del espacio en el que se encuentra la cámara de vídeo.

Si la pantalla y/o la cámara de vídeo se mantienen estáticas a lo largo del tiempo, es posible suministrar manualmente las coordenadas 3D de posición y orientación de pantalla y/o cámara de vídeo para que el procesador calcule la posición relativa entre pantalla y cámara de vídeo.

Opcionalmente, si la pantalla y la cámara de vídeo se mantienen estáticas a lo largo del tiempo o si existe variación de posición y/u orientación entre pantalla y cámara de vídeo, el sistema de pantalla holográfica puede comprender un dispositivo de seguimiento de pantalla que proporciona las coordenadas en 3D de la posición y de la orientación de la pantalla, y un dispositivo de seguimiento de cámara de vídeo que proporciona las coordenadas en 3D de la posición y de la orientación de la cámara de vídeo. El dispositivo seguimiento de pantalla y el dispositivo de seguimiento de cámara de vídeo están conectados a la estación gráfica para que el procesador pueda calcular la posición relativa entre la pantalla y la cámara de vídeo.

La estación gráfica adicionalmente puede comprender una tarjeta gráfica con salida de vídeo para conectar la estación gráfica con la pantalla.

El procesador está configurado para calcular la porción de escena real correspondiente a la pantalla mediante un cálculo basado en una pirámide truncada con uno de sus vértices donde se encuentra la cámara de vídeo desde la que se realizará el render y una base rectangular que se corresponde con el plano de proyección sobre el que se proyecta dicho render. La memoria adicionalmente puede almacenar al menos un objeto virtual para que el procesador muestre el objeto virtual en la pantalla flotando con aspecto holográfico sobre la escena.

Por su parte, el modelo tridimensional réplica de la escena real es un modelo basado en planos arquitectónicos, en una recreación artística o en métodos fotogramétricos.

En toda la presente descripción, el término “conectado” puede significar que los elementos que están “conectados” pueden compartir conexión eléctrica para la alimentación y/o conexión de datos para la comunicación entre ambos elementos. La conexión de datos puede ser unidireccional o bidireccional. De forma alternativa o adicional, el término “conectado” puede significar que los elementos que están “conectados” pueden estar “mecánicamente” unidos por una o más partes de cada elemento.

BREVE DESCRIPCIÓN DE LAS FIGURAS

Con objeto de ayudar a una mejor comprensión de las características de la invención y para complementar esta descripción, se acompañan como parte integrante de la misma las siguientes figuras, cuyo carácter es ilustrativo y no limitativo:

La Fig. 1 muestra el sistema de la presente invención donde la pantalla muestra el contenido de la escena real que se sitúa por detrás de la pantalla.

La Fig. 2 muestra el sistema de la presente invención donde la pantalla muestra el contenido de la escena real que se sitúa por detrás de la pantalla y adicionalmente un objeto virtual.

La Fig. 3 muestra un primer plano de la pantalla comprendida en la presente invención con elementos contenidos en la escena real situados por detrás de la pantalla y adicionalmente un objeto virtual.

La Fig. 4 muestra un diagrama de bloques del sistema de pantalla holográfica de la presente invención.

DESCRIPCIÓN DETALLADA DE UN EJEMPLO DE REALIZACIÓN

Listado de referencias:

1. - Sistema de pantalla holográfica.

2. - Pantalla.

3. - Cámara de vídeo.

4. - Estación gráfica.

4.1. - memoria

4.2. - procesador

4.3. - tarjeta gráfica

4.4. - Entradas/Salidas

4.5. - Sistema Operativo

4.6. - Motor Gráfico

5. - Dispositivo de seguimiento de pantalla.

6. - Dispositivo de seguimiento de cámara de vídeo.

7. - Modelo tridimensional.

8. - Escena real.

9. - Objeto Virtual.

La funcionalidad básica del sistema de pantalla holográfica de la presente invención consiste en, dada una posición en el espacio desde la que se ve una escena real 8 de la que la pantalla 2 forma parte, generar una imagen en la propia pantalla 2, que crea un efecto de “pantalla invisible” para el espectador, es decir, que consigue la ilusión óptica de ver a través de ella (Fig. 1).

Adicionalmente, y dado que la imagen generada en la pantalla es sintética, es posible incluir en dicha imagen elementos gráficos tridimensionales 9 que parecerán flotar en el espacio visualizado a través de la pantalla (Fig.2 y Fig. 3).

Para que el sistema de pantalla holográfica funcione adecuadamente, sólo son necesarias dos premisas:

1. En primer lugar, conocer con precisión la posición de la cámara de vídeo o espectador.

2. En segundo lugar, conocer también con precisión, la posición y tamaño de la pantalla, o lo que es lo mismo, de sus cuatro esquinas.

Los posicionamientos de la cámara de vídeo 3 y de la pantalla 2, se pueden registrar midiéndolas directamente si van a ser fijos, o capturar en tiempo real utilizando el dispositivo de seguimiento de cámara de vídeo 6 y el dispositivo de seguimiento de pantalla 5, como “Mosys”, “Trackmen”, “Vive Tracker" o similares.

En base a esta información y utilizando un motor gráfico 4.6 comprendido en la estación gráfica 4 renderizando un modelo virtual réplica de la escena real 8 tras la pantalla, es posible calcular la imagen que sería necesario mostrar en pantalla para obtener el efecto de transparencia y holografía de elementos 3D.

Para ello son necesarias las posiciones tanto del punto en el que se encuentra la cámara de vídeo 3 o espectador (centro nodal óptico) como las de las cuatro esquinas de la pantalla 2. En base a esta información se deriva de forma directa el frustum que define la perspectiva de la escena requerida (Fig. 1).

Dado que esta información puede variar a medida que se mueve la cámara (e incluso la pantalla), los dispositivos de seguimiento deben informar en tiempo real al motor gráfico 4.6 de las posiciones de dichos elementos físicos (pantalla 2 y cámara de vídeo 3) a partir de los cuales se obtiene el mencionado frustum, cuyo render resultante es utilizado para alimentar la pantalla 2, también en tiempo real, para finalmente obtener el mencionado efecto de “invisibilidad”.

Por último, en la Fig. 4 se muestra un diagrama de bloques del sistema de pantalla holográfica de la presente invención. El sistema de pantalla holográfica 1 comprende la estación gráfica 4 en la que se ejecuta el motor gráfico 4.6. A esta estación gráfica 4 se conectan, mediante los puertos de Entrada/Salida 4.4, en primer lugar los dispositivos de seguimiento de cámara de vídeo 6 y de pantalla 5. Tanto el dispositivo de seguimiento de cámara de vídeo 6 como el dispositivo de seguimiento de pantalla 5 suministran la posición y orientación de cámara de vídeo 3 y pantalla 2, respectivamente. Adicionalmente, se conecta la salida de vídeo 4.4 de la tarjeta gráfica 4.3 comprendida en la estación gráfica 4, a la entrada correspondiente a la pantalla 2. Adicionalmente, la estación gráfica 4 comprende la memoria 4.1 y el procesador 4.2. La memoria 4.1 almacena el sistema operativo 4.5, el motor gráfico 4.6, el modelo tridimensional de la escena 7 y los objetos virtuales 9 que se precisen. El modelo tridimensional de la escena 7 es una réplica de la escena real 8 que se renderizará en la estación gráfica 4 desde la posición en la que se encuentra la cámara de vídeo 3 para su visualización en pantalla 2. Los métodos para conseguir el modelo tridimensional 7 pueden basarse en planos arquitectónicos del lugar, en la recreación de un artista o en métodos fotogramétricos.

A partir de la configuración mostrada en la Fig. 4 y del modelo tridimensional de la escena 7, el sistema de la presente invención es capaz de calcular la porción de escena que es necesario mostrar en la pantalla 2 para que, visualizada desde el punto del espacio en el que se encuentra la cámara de vídeo 3 (suministrada por el sistema de seguimiento), produzca el deseado efecto de invisibilidad, es decir, que a través de la pantalla el espectador pueda ver lo que hay detrás.

En los motores gráficos 4.6, el mecanismo para determinar qué parte de la escena se renderizará en pantalla y de qué manera, involucra un concepto muy particular llamado frustum. Se trata de una pirámide truncada con un vértice allá dónde se encuentra la cámara de vídeo 3 y una base rectangular que se corresponde con el plano de proyección.

La relación entre cualquier posible posición relativa entre cámara de vídeo 3 y pantalla 2, y el render necesario para obtener el efecto de invisibilidad puede establecerse a través del frustum y es biunívoca. Además definido dicho frustum, el motor gráfico 4.6 dispone del API de programación necesario para establecer los parámetros de render de la escena que darán como resultado directo la imagen que se muestra en la pantalla 2.

Además, una vez conseguido el efecto de invisibilidad, si el operador del sistema de pantalla holográfica de la presente invención, necesita visualizar objetos virtuales 9 adicionales sobre la pantalla 2 (gráficos bursátiles, resultados deportivos, etc...), podrá hacerlo simplemente añadiéndolos a la escena original objeto del render. Para ello los motores gráficos ofrecen multitud de herramientas, dado que tal es su objeto y funcionalidad.

Claims

REIVINDICACIONES

1. Sistema de pantalla holográfica (1), caracterizado porque comprende:

• una pantalla (2);

• una cámara de vídeo (3);

• una estación gráfica (4) conectada con al menos la pantalla (2) y con la cámara de vídeo (3);

donde la estación gráfica (4) comprende al menos:

• una memoria (4.1) en la que se almacena un modelo tridimensional (7) réplica de una escena real (8) donde se sitúan al menos la pantalla (2) y la cámara de vídeo (3);

• un procesador (4.2) configurado para calcular una posición relativa entre la pantalla (2) y la cámara de vídeo (3) a partir de unas coordenadas en 3D de una posición y una orientación de la pantalla (2) y de unas coordenadas en 3D de una posición y una orientación de la cámara de vídeo (3); y, • un motor gráfico (4.6) que, renderizando el modelo tridimensional (7), calcula una porción de la escena real (8) que, mostrada en la pantalla (2), da lugar a un efecto de transparencia de la pantalla (2) en la escena real (8);

estando la estación gráfica (4) configurada para proyectar sobre la pantalla (2) la porción de la escena real (8) y un objeto virtual (9).

2. Sistema de pantalla holográfica, según la reivindicación 1, caracterizado porque adicionalmente comprende:

• un dispositivo de seguimiento de pantalla (5) que proporciona las coordenadas en 3D de la posición y de la orientación de la pantalla (2); y, • un dispositivo de seguimiento de cámara de vídeo (6) que proporciona las coordenadas en 3D de la posición y de la orientación de la cámara de vídeo (3).

3. Sistema de pantalla holográfica, según la reivindicación 1, caracterizado porque la estación gráfica (4) adicionalmente comprende una tarjeta gráfica (4.3) con salida de vídeo para conectar la estación gráfica con la pantalla.

4. Sistema de pantalla holográfica, según la reivindicación 1, caracterizado porque el modelo tridimensional (7) es un modelo basado en planos arquitectónicos, una recreación artística o en métodos fotogramétricos.

5. Sistema de pantalla holográfica, según la reivindicación 1, caracterizado porque el procesador (4.2) está configurado para calcular la porción de escena real (8) mediante un cálculo basado en una pirámide truncada con uno de sus vértices donde se encuentra la cámara de vídeo (3) y una base rectangular que se corresponde con el plano de proyección.