ES2669058T3

ES2669058T3 - Sistema y método de detección ocular que usa flujo de datos secuencial

Info

Publication number: ES2669058T3
Application number: ES09165653.8T
Authority: ES
Inventors: Jonny Holmberg
Original assignee: Tobii AB
Current assignee: Tobii AB
Priority date: 2009-07-16
Filing date: 2009-07-16
Publication date: 2018-05-23
Anticipated expiration: 2029-07-16
Also published as: EP2275020B1; EP2275020A1; US8610768B2; EP3338621B1; ES2746378T3; EP3338621A1; WO2011006760A1; US20110013007A1

Abstract

Un sistema de detección ocular (5) que comprende: al menos un elemento iluminador (10) adaptado para emitir luz en una dirección hacia la cabeza (9) de un usuario; al menos un sensor de imagen (11) que está adaptado para: recibir luz desde la cabeza iluminada (9) de un usuario; capturar instantáneas, estando representada cada instantánea por un fotograma de imagen digital que comprende una matriz de elementos de instantánea; y emitir una pluralidad de subconjuntos de datos, incluyendo cada subconjunto de datos al menos una fila o una columna de elementos de instantánea de dicho fotograma de imagen digital; una pluralidad de unidades de detección ocular (14a, 14b) conectadas a dicho sensor de imagen (11), en donde cada unidad de detección ocular (14a, 14b) está adaptada para recibir un respectivo subconjunto de datos y para operar sustancialmente en paralelo entre sí, en donde cada una de dichas unidades de detección ocular (14a, 14b) incluye un módulo de extracción de característica ocular (15) adaptado para realizar un proceso de extracción de característica oculares en el respectivo subconjunto de datos para identificar características oculares predeterminadas en dicho fotograma digital, y un módulo de generación de datos oculares (18) conectado a dichas unidades de detección ocular (14a, 14b) y que está adaptado para: recibir información de características oculares identificadas potenciales desde dichas unidades de detección ocular (14a, 14b), incluyendo dicha información coordenadas de elemento de instantánea para dichas características oculares identificadas, y el subconjunto recibido de elementos de instantánea, y generar datos oculares basándose en dicha información de características oculares potenciales en caso de que dichas características oculares identificadas satisfagan condiciones predeterminadas, y transferir datos oculares generados y los subconjuntos recibidos de elementos de instantánea a un módulo de procesamiento (20), y en donde un flujo de datos de dichos datos oculares y el subconjunto de elementos de instantánea de un fotograma de imagen digital son sustancialmente paralelos.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCION

Sistema y método de detección ocular que usa flujo de datos secuencial Campo de la invención

La invención se refiere a sistemas y métodos para detección ocular para uso en, por ejemplo, instalaciones y sistemas para rastrear ángulos/direcciones de los ojos y mirada. Un sistema de este tipo puede usare, por ejemplo, para observar o determinar la posición de un monitor o visor en el que está mirando un usuario de ordenador. Hay un número de otras aplicaciones concebibles y tales otras aplicaciones en las que puede usarse la presente invención incluyen, entre otros, sistemas para analizar la respuesta en publicidad o sistemas para predecir la vigilancia de conductores y predecir la somnolencia y comienzo del sueño de, por ejemplo, conductores de vehículos. La presente invención puede realizarse como un sistema de detección ocular embebido que puede integrarse en un ordenador tal como un ordenador personal (PC) o un portátil. En particular, la presente invención se refiere a sistemas y métodos de detección ocular que ofrecen latencia reducida, consumo de potencia reducido y velocidad de fotogramas aumentada en comparación con sistemas existentes y que puede implementarse en un chip programable, por ejemplo, en campos de matrices de puertas programables (FPGA), en un microprocesador, o en un circuito integrado específico de la aplicación (ASIC), o en una unidad de procesamiento gráfico (GPU).

Antecedentes

Monitorizar o rastrear movimientos oculares y detectar un punto de mirada de la persona (como se usa en el presente documento, el punto en el espacio en el que está mirando la persona) puede usarse en muchos contextos diferentes. Tales mediciones pueden ser una fuente de información importante al analizar el comportamiento o consciencia de la persona. Puede usarse tanto para evaluar el objeto al que está mirando la persona como para evaluar a la respectiva persona. Los diversos usos de la detección de punto de mirada incluyen estudios sobre la usabilidad de software y diferentes tipos de interfaces; la evaluación de páginas web, publicidad y anuncios; la provisión de medios para educar a pilotos en entornos de simulador y para entrenar a personal de vigilancia en papeles de seguridad críticos; e investigación en psicología, ciencias del comportamiento y percepción humana. Un campo que ha atraído un interés creciente en los últimos años es la evaluación de publicidad y otros canales de comercialización. La información de rastreo ocular puede a continuación recopilarse a partir del examen de una persona que realiza la prueba de vista de publicidad de una mercancía en particular, y se deriva la respuesta de la persona de la prueba. Los dispositivos de rastreo ocular pueden usarse también para recopilar información sobre la respuesta de la persona que observa la colocación de un artículo particular en una estantería de una exposición de tienda.

Un área importante donde los dispositivos de rastreo ocular atraen un interés creciente son las aplicaciones interactivas que emplean información acerca del lugar en el que está mirando una persona para responder o reaccionar de diferentes maneras. Por ejemplo, implementando un dispositivo de rastreo ocular en un portátil la interacción entre el usuario y las diferentes aplicaciones de software que se ejecutan en el ordenador posibilita que puedan mejorarse significativamente. Mediante un dispositivo de rastreo ocular implementado de este tipo, una persona físicamente discapacitada puede interactuar, por ejemplo, con el ordenador activando objetos visualizados en la pantalla por medio del ojo y la mirada del ojo. Además, en un videojuego, la experiencia de aventura del juego puede mejorarse mucho por esta técnica, por ejemplo, el usuario puede dirigir un arma usando únicamente sus ojos.

Los sistemas de detección ocular pueden emplearse también en sistemas diseñados para monitorizar la capacidad de atención de un operador de máquina o la somnolencia de conductores de un vehículo o aeronave, o una persona que trabaja en una consola de control tal como un controlador de tráfico aéreo.

Otro ejemplo donde los sistemas de detección ocular pueden ser útiles son en conjunto con un sistema de identificación que emplea técnicas de patrones de iris.

Se ha mostrado que la detección ocular en tiempo real y rastreo de mirada ocular es importante para muchas de las aplicaciones analizadas anteriormente. Los sistemas comerciales actuales y de investigación usan implementación de software y requieren un ordenador especializado para el procesamiento de imágenes - una solución grande, costosa y complicada de usar. Además, los sistemas de detección ocular de los ordenadores especializados actuales son ineficaces en términos de uso de potencia informática y uso de potencia. Hay también una necesidad de reducir la latencia y aumentar la velocidad de fotogramas en tales sistemas de detección ocular. Por lo tanto, se han puesto grandes esfuerzos para desarrollar sistemas más precisos, eficaces en potencia y compactos. Por ejemplo, en el documento US 5.859.686 se desvela un sistema y un método para hallar y rastrear la localización de un ojo del sujeto. El sistema incluye un aparato de formación de imágenes que captura imágenes digitalizadas de una cara del sujeto. Las imágenes se alimentan en una unidad de búsqueda y rastreo ocular que procesa cada imagen para detectar la posición del ojo del sujeto y para rastrear estas posiciones del ojo a través del tiempo. La unidad de búsqueda y rastreo ocular identifica características en el fotograma de imagen que muestran atributos consistentes con aquellos asociados con la apariencia de un ojo del sujeto y basándose en estas características, una determinación en cuanto a las localizaciones del ojo potenciales que realmente sea una localización del ojo.

5

10

15

20

25

30

35

40

45

50

55

60

65

Esto se hace monitorizando fotogramas de imágenes sucesivas para detectar un parpadeo. Si se detecta un parpadeo en una localización ocular potencial, se considera como una localización ocular real. Por lo tanto, este sistema y método procesa una imagen en un momento y maneja aproximadamente 30 fotogramas por segundo y puede tener dificultades para manejar velocidades de fotograma superiores, o puede requerir potencia de procesamiento aumentada para manejar velocidades de fotograma altas, que puede dar como resultado también un consumo de potencia aumentado. Por lo tanto, este sistema sufre de un cuello de botella principal asociado con la velocidad de procesamiento de datos. Otro problema que puede encontrase en el sistema y método de acuerdo con el documento US 5.859.686 es que pueden tener lugar latencias entre la acción de usuario y la respuesta experimentada debido al manejo fotograma a fotograma de los datos de imagen, que es molesto para el usuario. Por lo tanto, este sistema y método no satisface los requisitos con respecto a latencia, eficacia computacional, consumo de potencia y velocidad de fotograma del usuario de hoy en día. El documento US 2008/231805 desvela un sistema y un método para hallar y rastrear la localización de un ojo del sujeto usando procesos paralelos que se ejecutan en subconjuntos de una imagen identificada por un módulo buscador de cara. El documento US 2006/0291702 desvela la detección paralela de la localización pupilar en una imagen. El documento US 2006/0093998 desvela la detección paralela de la pupila y parpadeo. En el artículo "An embedded system for an eye-detection sensor" por A. Amir et al., se presenta un sistema y método de procesamiento de imágenes para detección ocular. El sistema usa un FGPA para el procesamiento de imagen. El método para la detección ocular está basado en un esquema de resta con dos iluminadores sincronizados. Se capturan dos fotogramas, uno con iluminación en el eje y el otro con iluminación fuera del eje. La intensidad de iluminación del fotograma fuera del eje se resta de la intensidad del fotograma en el eje para crear una imagen binaria resultante después de la generación de umbrales. Se usa un algoritmo de componente conectado para detectar las pupilas en esta imagen resultante. Este sistema procesa un par de imágenes a la vez, que introduce latencias y consume potencia adicional.

Por lo tanto, existe una necesidad en la técnica de sistemas de detecciones oculares mejorados para implementación en un ordenador y, en particular, hay una necesidad para tales sistemas de detección ocular que proporcionen velocidad de fotogramas aumentada, consumo de potencia reducido y latencia reducida en comparación con los sistemas existentes.

Sumario de la invención

La invención se define en las reivindicaciones independientes. Se definen realizaciones preferidas en las reivindicaciones dependientes. Un objetivo de la presente divulgación es proporcionar sistemas y métodos de detección ocular que ofrecen latencia reducida, consumo de potencia reducido y velocidad de fotogramas aumentada en comparación con los sistemas existentes.

Un objetivo adicional de la presente divulgación es proporcionar sistemas y métodos de detección ocular para implementación en un ordenador tal como un portátil que ofrece latencia reducida, consumo de potencia reducido y velocidad de fotograma aumentada en comparación con los sistemas existentes.

Otro objetivo de la presente divulgación es proporcionar sistemas y métodos de detección ocular para implementación en un ordenador que puede usarse con componentes del ordenador convencionales que incluyen por ejemplo una cámara web.

Otro objetivo más de la presente divulgación es proporcionar un sistema de detección ocular embebido que puede integrarse en un ordenador tal como un ordenador personal (PC) o un portátil.

Otro objetivo más de la presente divulgación es proporcionar un sistema de detección ocular que puede implementarse en un chip programable, por ejemplo, en un campo de matrices de puertas programables (FPGA), en un microprocesador, o en un circuito integrado específico de la aplicación (ASIC).

Otro objetivo de la presente divulgación es proporcionar un sistema de detección ocular que puede implementarse en una unidad de procesamiento gráfica (GPU).

Estos y otros objetivos de la presente invención se harán evidentes a partir de la memoria descriptiva y las reivindicaciones junto con los dibujos adjuntos.

En el contexto de la presente solicitud, el término “subconjunto” se refiere a cantidades de los elementos de instantánea de una instantánea que varían de una cantidad vacía, es decir cero elementos de instantánea, a todos los elementos de instantánea de la instantánea. En un caso típico, el subconjunto puede incluir uno o un número de columnas o filas. Además, diferentes subconjuntos pueden estar adyacentes entre sí, es decir de borde a borde, o pueden solapar entre sí.

De acuerdo con un primer aspecto de la presente divulgación, se proporciona un sistema de detección ocular que comprende al menos un elemento iluminador adaptado para emitir luz en una dirección hacia la cabeza de un usuario y al menos un sensor de imagen que está adaptado para recibir luz desde la cabeza iluminada del usuario y capturar de manera repetida instantáneas, estando representada cada una por un fotograma de imagen digital que

5

10

15

20

25

30

35

40

45

50

55

60

65

comprende una matriz de elementos de instantánea. El sistema incluye adicionalmente una pluralidad de unidades de detección ocular conectadas al sensor de imagen, las unidades de detección ocular están adaptadas para recibir regiones de elementos de instantánea de un fotograma de imagen digital sustancialmente en paralelo y en el que las unidades de detección ocular están adaptadas para operar sustancialmente en paralelo, cada unidad de detección ocular está adaptada para recibir una región especificada de los elementos de instantánea de al menos un fotograma de imagen digital y que incluye un módulo de extracción de característica ocular adaptado para realizar un proceso de extracción de característica ocular en los elementos de instantánea recibidos para identificar características oculares predeterminadas, y un módulo de generación de datos oculares conectado a las unidades de detección ocular. El módulo de generación de datos oculares está adaptado para: recibir información de características oculares identificadas potenciales desde las unidades de detección ocular, incluyendo la información coordenadas de elemento de instantánea para las características oculares identificadas, y la región recibida de elementos de instantánea, y generar datos oculares basándose en la información de características oculares potenciales, en el que los datos oculares se generan si las características oculares identificadas satisfacen condiciones predeterminadas, y trasferir datos oculares generados y las regiones recibidas de elementos de instantánea a un módulo de procesamiento, y en el que un flujo de datos de los datos oculares y la región de elementos de instantánea de un fotograma de imagen digital son sustancialmente paralelos.

Los elementos de iluminador pueden controlarse de una unidad de procesamiento en la que los datos oculares se procesan para, por ejemplo, contar el número de parpadeos. La unidad de procesamiento puede adaptarse también para controlar el sensor de imagen para reenviar, por ejemplo, un subconjunto seleccionado de los elementos de instantánea en el que un ojo se identificó en una instantánea anterior. Sin embargo, en las realizaciones de la presente divulgación, el sensor de imagen se controla por el módulo de generación de datos oculares para reenviar, por ejemplo, un subconjunto seleccionado de los elementos de instantánea en el que un ojo se identificó en una instantánea anterior. La unidad de procesamiento puede integrarse, por ejemplo, en una CPU de un ordenador tal como un PC o portátil.

De acuerdo con un segundo aspecto de la presente divulgación, se proporciona un sistema de detección ocular que incluye una pluralidad de unidades de detección ocular conectables a un sensor de imagen, las unidades de detección ocular están adaptadas para recibir regiones de elementos de instantánea de un fotograma de imagen digital sustancialmente en paralelo y en el que las unidades de detección ocular están adaptadas para operar sustancialmente en paralelo, cada unidad de detección ocular está adaptada para recibir una región especificada de los elementos de instantánea de al menos un fotograma de imagen digital y que incluye un módulo de extracción de característica ocular adaptado para realizar un proceso de extracción de característica ocular en los elementos de instantánea recibidos para identificar características oculares predeterminadas, y un módulo de generación de datos oculares conectado a las unidades de detección ocular. El módulo de generación de datos oculares está adaptado para: recibir información de características oculares identificadas potenciales desde las unidades de detección ocular, incluyendo la información coordenadas de elemento de instantánea para las características oculares identificadas, y la región recibida de elementos de instantánea, y generar datos oculares basándose en la información de características oculares potenciales, en el que los datos oculares se generan si las características oculares identificadas satisfacen condiciones predeterminadas, y trasferir datos oculares generados y las regiones recibidas de elementos de instantánea a un módulo de procesamiento, y en el que un flujo de datos de los datos oculares y la región de elementos de instantánea de un fotograma de imagen digital son sustancialmente paralelos.

De acuerdo con un tercer aspecto de la presente divulgación, se proporciona un método para detectar un ojo usando un sistema de detección ocular de acuerdo con el primer o segundo aspecto de la presente divulgación. El método comprende las etapas de enviar subconjuntos seleccionados de elementos de instantánea de un fotograma de imagen digital sustancialmente en paralelo desde un sensor de imagen a una pluralidad de unidades de detección ocular, realizar procesos de extracción de características oculares paralelos en los elementos de instantánea recibidos para identificar características oculares predeterminadas en los subconjuntos seleccionados en módulos de extracción de característica ocular, enviar información de características oculares identificadas potenciales desde las unidades de detección ocular, incluyendo la información coordenadas de elemento de instantánea para las características oculares identificadas, y la región recibida de elementos de instantánea a un módulo de generación de datos oculares, y generar datos oculares basándose en la información de características oculares potenciales, en el que los datos oculares se generan si las características oculares identificadas satisfacen condiciones predeterminadas, y transferir datos oculares generados y las regiones recibidas de elementos de instantánea a un módulo de procesamiento, y en el que un flujo de datos de los datos oculares y la región de elementos de instantánea de un fotograma de imagen digital son sustancialmente paralelos.

La presente invención está basada por lo tanto en la idea de procesar subconjuntos de los elementos de instantánea de instantánea capturada por medio de un foto-sensor en paralelo y sustancialmente de manera simultánea en unidades de detección ocular en paralelo. Los subconjuntos pueden solapar o pueden estar de borde a borde y pueden comprender una o más columnas y/o una o más filas. Por lo tanto, la imagen capturada por el sensor se divide en unos múltiples flujos de datos unidimensionales, ya sea a nivel de fila o una columna, y cada flujo de datos se procesa individualmente y en paralelo en respectivas unidades de detección ocular. En la respectiva unidad de detección ocular, se extraen características oculares candidatas (o potenciales), por ejemplo, parpadeos y/o pupilas, y se reenvían al módulo de generación de datos oculares. El proceso de extracción de característica ocular incluye

5

10

15

20

25

30

35

40

45

50

55

60

65

determinar secuencialmente si elementos de instantánea adyacentes deberían conectarse a un objeto, o característica ocular potencial, determinación secuencial que se realiza a nivel de columnas o a nivel de filas. El almacenamiento en memoria intermedia temporal del elemento de instantánea identificado en una fila (o columna) se usa para comparar elementos de instantánea de una fila actual con elementos de instantánea de una fila anterior en la que se han identificado características oculares potenciales para conectar elementos de instantánea en diferentes filas (o columnas) para crear de esta manera objetos continuos (es decir, características oculares potenciales) que se extienden a través de más de una fila y/o columna en el subconjunto analizado del fotograma de imagen digital. El módulo de generación de datos oculares determina cuáles de los candidatos (es decir, características oculares potenciales que incluyen por ejemplo un ojo o un parpadeo) satisfacen condiciones predeterminadas y por lo tanto constituyen realmente por ejemplo, parpadeos o un ojo. Cuando una característica ocular (por ejemplo ojo o un parpadeo) se ha identificado y verificado, los datos oculares que incluyen, por ejemplo, coordenadas de elemento de instantánea para el ojo o parpadeo identificados, se reenvían a una unidad de procesamiento. La unidad de procesamiento puede usar estos datos oculares para determinar, por ejemplo, una dirección de la mirada o para contar el número de parpadeos.

Este concepto inventivo proporciona varias ventajas. Por ejemplo, debido a que las unidades de detección ocular operan en paralelo, cuando cada una procesa únicamente un subconjunto de los elementos de instantánea, y debido a que esos datos oculares se generan y reenvían para procesar únicamente si se ha identificado un ojo potencial o un parpadeo potencial, puede conseguirse latencia reducida, consumo de potencia reducido y velocidad de fotogramas aumentada en comparación con los sistemas existentes. Además, el sistema y método de la presente invención puede implementarse en, por ejemplo, una GPU de un ordenador tal como un PC o un portátil que ofrece latencia reducida, consumo de potencia reducido y velocidad de fotogramas aumentada en comparación con los sistemas existentes. La presente invención puede usarse también con componentes de ordenador convencionales que incluyen por ejemplo una cámara web. En particular, el sistema de la presente invención puede realizarse como un sistema de detección ocular embebido que puede integrarse en un ordenador tal como un portátil. El sistema de detección ocular o partes o componentes del sistema de detección ocular de acuerdo con la presente invención, por ejemplo, las unidades de detección ocular y el módulo de generación de datos oculares pueden implementarse en un chip programable, por ejemplo, en un campo de matrices de puertas programables (FPGA), en un microprocesador, o en un circuito integrado específico de la aplicación (ASIC) o en una unidad de procesamiento gráfica (GPU).

En una realización de la presente divulgación, el módulo de generación de datos oculares está adaptado para realimentar información al sensor acerca de las posiciones donde se ha hallado un ojo u ojos y/o parpadeos en fotogramas de imágenes anteriores para seleccionar la porción de la superficie sensible a la luz del sensor que se ha de exponer antes de que se tome cada nueva instantánea o para usarse en cada nueva instantánea y controla el sensor de acuerdo con lo mismo. Además, puede ordenarse al sensor que reenvíe únicamente subconjuntos de una porción seleccionada de este tipo a las unidades de detección ocular y para el proceso de extracción de parpadeo y/o pupila. Si el ojo u ojos del usuario está o están y/o se hallan los parpadeos en la instantánea anterior únicamente se usa una pequeña porción de los elementos de instantánea de la superficie sensible a la luz del sensor. De esta manera, la generación de potencia puede reducirse significativamente. Únicamente en el caso donde no se han hallado ni ojo ni parpadeos, los datos desde todos los elementos de instantánea de la superficie sensible a la luz del sensor se reenvían a las unidades de detección ocular. De esta manera, la carga de procesamiento puede reducirse incluso adicionalmente y la velocidad de muestreo puede mejorarse incluso adicionalmente. Como alternativa, o como un complemento, el módulo de generación de datos oculares puede adaptarse para realimentar información de amplitud de los valores de intensidad de un ojo u ojos detectados o un parpadeo o parpadeos detectados al sensor. El módulo de generación de datos oculares por lo tanto usa información de los valores de amplitud de ojos identificados o parpadeos de instantáneas anteriores para seleccionar la porción de la superficie sensible a la luz del sensor que se ha de exponer antes de que se tome cada nueva instantánea o para usarse en cada nueva instantánea y controla el sensor de acuerdo con lo mismo. Por ejemplo, puede establecerse un umbral de amplitud de manera que únicamente se seleccionan regiones que incluyen elementos de instantánea que tienen un valor de intensidad por encima de un umbral de amplitud predeterminado para exposición antes de que se tome una nueva instantánea o se usen en una nueva instantánea. En otro ejemplo, se establecen umbrales de amplitud, por ejemplo un intervalo de amplitud definido por los límites de amplitud superior e inferior, de manera que únicamente se seleccionan regiones que incluyen elementos de instantánea que tienen un valor de intensidad en un intervalo de amplitud predeterminado para exposición antes de que se tome una nueva instantánea o se usen en una nueva instantánea.

Como apreciará el experto en la materia, las etapas de los métodos de acuerdo con la presente invención, así como realizaciones preferidas de la misma, son adecuadas para realizarse como un programa informático o como un medio legible por ordenador.

Estos y otros aspectos de la invención serán evidentes y se aclararán con referencia a las realizaciones descritas en lo sucesivo. Todos los términos usados en el presente documento se han de interpretar de acuerdo con su significado convencional en el campo técnico, a menos que se defina explícitamente de otra manera en el presente documento.

5

10

15

20

25

30

35

40

45

50

55

60

65

Breve descripción de los dibujos

Se describirán las realizaciones de la presente invención con referencia a los dibujos adjuntos, en los que:

La Figura 1 es un diagrama de bloques funcional de un dispositivo a modo de ejemplo en el que puede implementarse la presente invención;

La Figura 2 ilustra esquemáticamente un sistema de detección ocular de acuerdo con una realización de la presente invención;

La Figura 3 muestra esquemáticamente una realización de un módulo de extracción de parpadeo de acuerdo con una realización de la presente invención;

La Figura 4 ilustra ejemplos del proceso de manejo de elemento de instantánea en el módulo de extracción de parpadeo;

La Figura 5 muestra esquemáticamente una parte del módulo de extracción de parpadeo de acuerdo con una realización de la presente invención;

La Figura 6 ilustra ejemplos del proceso de manejo de elemento de instantánea en el módulo de extracción de parpadeo;

La Figura 7 muestra una realización de un módulo de extracción de pupila de acuerdo con una realización de la presente invención; y

La Figura 8 muestra las etapas generales del método de detección ocular de acuerdo con la presente invención. Descripción detallada de las realizaciones de la invención

La presente invención se refiere a sistemas y métodos de detección ocular. Las realizaciones desveladas en el presente documento son meramente a modo de ejemplo o representativas de la presente invención. La presente invención no ha de estar limitada a las divulgaciones específicas presentadas en el presente documento.

Con referencia en primer lugar a las Figuras 1 y 2, se analizará un sistema de detección ocular de acuerdo con la presente invención implementado en un ordenador. El sistema puede determinar, por ejemplo, el punto en un monitor o pantalla en la que el usuario del ordenador está observando/mirando. La determinación del punto en un monitor o pantalla en la que el usuario del ordenador está observando/mirando se realiza rastreando los ojos del usuario y, en particular, determinando los ángulos de la mirada de los ojos y la posición del ojo de manera relativa al monitor. Sin embargo, los algoritmos para el rastreo de los ojos y para la determinación de los ángulos de la mirada no es parte de la presente invención y no se describirá en detalle en el presente documento. El sistema de detección ocular 5 se implementa en esta realización en un ordenador tal como un portátil, o un ordenador personal (PC). El sistema de detección ocular 5 de acuerdo con la presente invención, o partes o componentes del sistema, por ejemplo, las unidades de detección ocular y el módulo de generación de datos oculares pueden implementarse en un chip programable, por ejemplo, en un campo de matriz de puertas programables (FPGA), en un microprocesador o CPU del ordenador, o en un circuito integrado específico de la aplicación (ASIC) o en la unidad de procesamiento gráfica (GPU) del ordenador o en un sensor de semiconductores complementarios de metal-óxido (CMOS).

La Figura 1 muestra un diagrama de bloques funcional de un dispositivo a modo de ejemplo de este tipo en el que puede implementarse la presente invención. El dispositivo 1 puede incluir la memoria 2, la unidad de procesamiento central (CPU) 3, la unidad de procesamiento gráfica (GPU) 4, un sistema de detección ocular 5 de acuerdo con la invención, los dispositivos de entrada/salida 6, la pantalla de visualización 7. Además, el dispositivo 1 también incluye la interfaz de comunicaciones 12, esta puede ser por ejemplo RS-232, Bus Serie Universal (USB) o una red de área de controlador (CAN). La memoria 2 puede incluir memoria estática, tal como una memoria de sólo lectura (ROM), y/o memoria dinámica, tal como una memoria de acceso aleatorio (RAM), RAM de vídeo o caché en placa, para almacenar datos e instrucciones legibles por máquina. La memoria 2 puede incluir también dispositivos de almacenamiento tales como un disco flexible, CD ROM, disco de lectura/escritura (R/W) de CD, y/o memoria flash así como otros tipos de dispositivos de almacenamiento.

La CPU puede incluir uno o más procesadores, microprocesadores, y/o lógica de procesamiento que puede controlar el dispositivo 1. La GPU 4 puede incluir un dispositivo de representación de gráficos, tal como tarjeta de gráficos especializada y/o procesador de gráficos integrado que puede usar una porción de la memoria 2. La GPU puede realizar cálculo, manipulación y visualización de gráficos y puede, por ejemplo, controlar el brillo, resolución y tasas de refresco de la pantalla de visualización 7. Los dispositivos de entrada/salida 6 pueden incluir una impresora, un teclado, ratón, altavoz, cámara digital, diodos de emisión de luz, etc.

El sistema de detección ocular 5 puede usar el dispositivo de entrada/salida 6, por ejemplo, para emitir luz de NIR hacia la cabeza de un usuario y para capturar instantáneas de la cabeza del usuario. Como una alternativa, el sistema de detección ocular 5 puede incluir al menos un elemento iluminador y un foto-sensor o una cámara digital. El sistema de detección ocular puede usar la CPU o la GPU para extracción de característica y procesamiento de imagen. Especialmente la GPU es adecuada para procesamiento paralelo debido a los numerosos núcleos de procesamiento.

5

10

15

20

25

30

35

40

45

50

55

60

65

Haciendo referencia ahora a la Figura 2, se describirá el sistema de detección ocular 5 de acuerdo con la presente invención.

Al menos un elemento iluminador o fuente de luz 10, por ejemplo un diodo de NIR, está adaptado para emitir luz 8 en una dirección hacia la cabeza 9 de un usuario y está montado, por ejemplo, en el borde superior del monitor. En esta realización, el elemento iluminador 10 está incluido en el sistema pero también es concebible usar componentes del ordenador existentes, por ejemplo, un diodo de NIR. Una unidad de control del sistema puede controlar la conmutación de la activación y desactivación del diodo de NIR.

Adicionalmente, puede montarse al menos un foto-sensor 11 proporcionado con un sistema óptico (no mostrado), por ejemplo, en el centro del borde inferior del monitor. El sistema óptico puede localizarse delante del foto-sensor para filtrar luz indeseada y para enfocar una instantánea en la superficie sensible a la luz del foto-sensor 11. El foto- sensor 11 recibe luz desde la cabeza iluminada de un usuario y captura de manera repetitiva instantáneas, donde cada instantánea se representa por un fotograma de imagen digital que comprende una matriz de elementos de instantánea o elementos de píxeles. Por lo tanto, se producen fotogramas de imagen digital que incluye la cara y los ojos del usuario. Cada fotograma digital comprende una serie de valores de píxel o elementos de instantánea que representan la intensidad de luz desde la cara iluminada del usuario. Estos valores de píxel que representan la intensidad recibida están localizados en la serie especificada por coordenadas x e y. De acuerdo con esta invención, se reenvían bloques o subconjunto de los elementos de instantánea en flujos de datos paralelos al proceso de búsqueda ocular, como se describirá en lo sucesivo. Cada subconjunto contiene una fila, una columna, un número de filas, o un número de columnas. Además, las filas o columnas de subconjuntos adyacentes pueden solapar de manera que la misma fila o una columna (o filas o columnas) se reenvían para procesar en más de un flujo de datos paralelos o pueden estar borde a borde.

Si se usa más de un elemento iluminador, puede localizarse de manera que al menos un elemento iluminador esté dispuesto en proximidad cercana a o coaxialmente con un eje óptico del foto-sensor 11. Otros elementos iluminadores 10 están dispuestos a mayor distancia desde el eje óptico. Iluminando los elementos 10 que están colocados en proximidad cercana a o coaxialmente con el eje óptico del foto-sensor 11, puede provocarse un fácil efecto ocular de brillo observable de la pupila o pupilas mientras la iluminación del otro iluminador o iluminadores 10 provoca reflejos desde la córnea sin provocar ningún efecto ocular de brillo observable fácil. En una instantánea capturada con efecto ocular de brillo, se ilumina la pupila y el reflejo desde el elemento iluminador 10 desde la córnea se observa como un reflejo con forma de punto. Además, hay un gran contraste entre los campos de la imagen que corresponden a la pupila e iris y por lo tanto puede calcularse la línea de límite entre estos dos campos con buena precisión. En la determinación del centro, puede usarse la adaptación de una elipse a la línea de límite, que es particularmente importante en el caso donde la pupila es únicamente visible de manera parcial en la instantánea. Determinando un vector desde el centro del reflejo desde el elemento iluminador 10 y el centro de la pupila puede usarse para determinar la dirección de la mirada. En instantáneas obtenidas por medio de los iluminadores 10 dispuestos a mayor distancia desde el sensor, habrá un contraste relativamente bajo entre los campos de imagen que corresponden a diferentes porciones del ojo. Sin embargo, en estas instantáneas, los reflejos directos desde los elementos iluminadores aparecen de manera muy evidente. Las posiciones y las distancias entre los diferentes reflejos pueden determinarse y evaluarse para determinar la distancia del ojo desde el sensor.

El sistema 5 comprende adicionalmente una pluralidad de unidades de detección ocular 14 conectadas al foto- sensor en paralelo. Uno o varios buses de datos 19 pueden estar dispuestos para transferir los datos de elemento de instantánea desde el sensor de imagen 11 a las unidades de detección ocular 14.

En la Figura 2, únicamente se muestran dos unidades de detección ocular 14a y 14b, pero, sin embargo, el número de unidades de detección ocular 14a, 14b puede variar dependiendo de, por ejemplo, la aplicación específica y los requisitos con respecto a la latencia, consumo de potencia, etc. Cada unidad de detección ocular 14a, 14b está adaptada para recibir al menos un subconjunto de los elementos de instantánea de un fotograma de imagen digital desde el sensor 11, subconjunto que como se ha mencionado anteriormente puede ser una parte unidimensional de los elementos de instantánea, por ejemplo, una fila o una columna. Los subconjuntos pueden solapar también entre sí.

Cada unidad de detección ocular 14a, 14b incluye un módulo de extracción de característica 15 adaptado para realizar un proceso de extracción de característica ocular en los elementos de instantánea recibidos para identificar elementos de instantánea que incluyen características oculares predeterminadas tal como parte de un parpadeo, una porción del iris o una parte de una pupila. En otras palabras, el módulo de extracción de característica ocular 15 detecta o identifica regiones de elementos de instantánea de diferencia significativa en los subconjuntos recibidos de los fotogramas de imagen digital. El módulo de extracción de característica ocular 15 está adaptado para procesar cada valor de intensidad de los elementos de instantánea de un subconjunto recibido de elementos de instantánea, determinar secuencialmente si los elementos adyacentes de instantánea de una fila o una columna del subconjunto de elementos de instantánea están correlacionados comparando el valor de intensidad procesado de los elementos de instantánea, en el que los elementos de instantánea se determina que están correlacionados si el respectivo valor de intensidad procesado satisface condiciones predeterminadas. Además, el módulo de extracción de característica

5

10

15

20

25

30

35

40

45

50

55

60

65

ocular 15 está adaptado para determinar si los elementos correlacionados en una fila o una columna están correlacionados con elementos de una fila o una columna anterior, respectivamente, conectar tales elementos correlacionados en subregiones de elementos, y determinar que tales subregiones incluyen características oculares potenciales. Este proceso se describirá en más detalle a continuación.

En una realización preferida, el módulo de extracción de característica ocular 15 comprende un módulo de extracción de parpadeo 16 y un módulo de extracción de pupila 17.

El módulo de extracción de parpadeo 16 está adaptado para realizar un proceso de extracción de parpadeo en los elementos de instantánea recibidos para identificar elementos de instantánea que incluyen al menos una parte de un parpadeo potencial de un ojo del usuario. Un parpadeo es un objeto brillante pequeño y el borde del parpadeo normalmente es pronunciado, que conlleva que la detección del borde es un método adecuado para identificar un parpadeo. El módulo de extracción de parpadeo está adaptado para realizar cálculo de borde para determinar valores de borde de los respectivos elementos de instantánea de un subconjunto recibido de elementos de instantánea. Además, se determina secuencialmente si los elementos adyacentes de instantánea de una fila o una columna del subconjunto de elementos de instantánea están correlacionados comparando el respectivo valor de borde, en el que se determina que los elementos de instantánea están correlacionados si el valor de borde es el mismo, y se determina si los elementos correlacionados en una fila o una columna están correlacionados también con elementos de una fila o una columna anterior, respectivamente. Además, el módulo de extracción de parpadeo 16 está adaptado para conectar tales elementos correlacionados en subregiones de elementos y para determinar que tales subregiones son un parpadeo potencial. El proceso de extracción de parpadeo se describirá en más detalle a continuación con referencia a las Figuras 3 - 6.

El módulo de extracción de pupila 17 está adaptado para realizar un proceso de extracción de región pupilar en los elementos de instantánea recibidos para identificar elementos de instantánea que incluyen al menos una parte de una región pupilar potencial de un ojo del usuario. En una realización preferida de la presente invención, se determina un elemento de instantánea que tiene un valor de intensidad en un rango predeterminado de valores que es una parte de una pupila potencial. Específicamente, el módulo de extracción de pupila está adaptado para determinar secuencialmente si los elementos adyacentes de instantánea de una fila o una columna del subconjunto recibido de elementos de instantánea están correlacionados comparando el respectivo valor de intensidad, en el que se determina que dos elementos están correlacionados si los valores de intensidad están en un intervalo predeterminado (en una realización si los valores de intensidad son iguales). Además, el módulo de extracción de pupila 17 está adaptado para determinar si los elementos correlacionados en una fila o una columna están correlacionados con elementos de una fila o una columna anterior, respectivamente, conectar tales elementos correlacionados en subregiones de elementos, y para determinar que tales subregiones son al menos una pupila potencial. El proceso de extracción de la pupila se describirá en más detalle a continuación con referencia a la Figura 7.

Un módulo de generación de datos oculares 18 está conectado al módulo de extracción de parpadeo 16 y/o al módulo de extracción de pupila 17 y está adaptado para generar datos oculares usando pupilas y/o parpadeos identificados potenciales, en el que los datos oculares se generan si las características oculares identificadas satisfacen condiciones predeterminadas. En una realización, el módulo de generación de datos oculares 18 está adaptado para mapear subregiones determinadas que son al menos una parte de una pupila potencial y subregiones determinadas que son un parpadeo potencial para establecerse si hay un solapamiento o una relación estrecha en distancia, y si se establece un solapamiento o una relación estrecha en distancia de este tipo entre al menos una parte de una pupila potencial y al menos un parpadeo, para determinar que las subregiones que incluyen la al menos una parte de una pupila potencial y el al menos un parpadeo constituyen un ojo. Por lo tanto, únicamente cuando se ha identificado un ojo entre las pupilas y parpadeos potenciales, se generan datos oculares y se reenvían a una unidad de procesamiento 20. Por lo tanto, la carga de procesamiento de la unidad de procesamiento 20 puede reducirse puesto que únicamente necesita analizarse una pequeña región alrededor de una pupila y parpadeo para determinar, por ejemplo, la dirección de la mirada. En una realización alternativa, únicamente se reenvía información acerca de parpadeos a la unidad de procesamiento 20, por ejemplo, para identificar parpadeos para determinar el grado de cierre del ojo. En este caso, únicamente necesita analizarse una pequeña región alrededor de los parpadeos.

Por lo tanto, la idea básica de la presente invención es seleccionar subconjuntos o regiones de los elementos de instantánea de la superficie del sensor y procesar cada subconjunto individualmente y en paralelo en las unidades de detección ocular. Los subconjuntos pueden solapar o pueden estar borde a borde y comprender una o más columnas y/o una o más filas. Por lo tanto, la imagen capturada por el sensor se divide en unos múltiples flujos de datos unidimensionales, ya sea a nivel de filas o columnas, y cada flujo de datos se procesa individualmente y en paralelo en las unidades de detección ocular. En la respectiva unidad de detección ocular, se extraen parpadeos y/o pupilas candidatos (o potenciales) y se reenvían al módulo de generación de datos oculares que determina cuál de los candidatos que satisface condiciones predeterminadas, y por lo tanto constituye, por ejemplo, parpadeos o un ojo. Cuando se ha identificado y verificado un ojo o un parpadeo, los datos oculares que incluyen por ejemplo coordenadas de elemento de instantánea para el ojo o parpadeo identificados se reenvían a una unidad de procesamiento. La unidad de procesamiento puede usar estos datos oculares para determinarse, por ejemplo, una

5

10

15

20

25

30

35

40

45

50

55

60

65

dirección de la mirada o para contar el número de parpadeos. Las etapas generales del método para detectar un ojo usando un sistema de detección ocular de acuerdo con la presente invención se ilustran en la Figura 8. El método comprende las etapas generales de:

S100: proporcionar subconjuntos seleccionados de elementos de instantánea de un fotograma de imagen digital en paralelo a una pluralidad de unidades de detección ocular;

S110: realizar procesos de extracción de características oculares paralelos en los elementos de instantánea recibidos para identificar características oculares predeterminadas en dichos subconjuntos seleccionados en módulos de extracción de característica ocular;

S120: enviar información de características oculares identificadas potenciales desde dichas unidades de detección ocular, incluyendo dicha información coordenadas de elemento de instantánea para dichas características oculares identificadas, y la región recibida de elementos de instantánea a un módulo de generación de datos oculares;

S130: generar datos oculares basándose en dicha información de características oculares potenciales, en el que dichos datos oculares se generan si las características oculares identificadas satisfacen condiciones predeterminadas; y

S140: transferir datos oculares generados y las regiones recibidas de elementos de instantánea, es decir los datos de imagen, en paralelo a un módulo de procesamiento, y en el que un flujo de datos de dichos datos oculares (es decir, una característica ocular verificada que puede ser un ojo o un parpadeo) y la región de elementos de instantánea de un fotograma de imagen digital son sustancialmente paralelos. Por lo tanto, cuando se ha identificado y verificado un ojo o un parpadeo, los datos oculares que incluyen, por ejemplo, coordenadas de elemento de instantánea para el ojo o parpadeo identificados se reenvían a una unidad de procesamiento. La unidad de procesamiento puede usar estos datos oculares para, por ejemplo, contar el número de parpadeos y/o pupilas.

Con referencia ahora a la Figura 3, el módulo de extracción de parpadeo 16 se describirá ahora en más detalle. Un subconjunto de un fotograma de imagen digital se recibe en un módulo de cálculo de derivada 20 adaptado para calcular la derivada de la intensidad en la dirección x e y. Las derivadas se calculan usando dos o más puntos en una dirección o usando un núcleo como en cálculos de gradiente de Sobel o Prewitt. En el contexto de la presente invención, los parpadeos son pequeños y tienen propiedades de borde iguales alrededor de al menos una parte de los mismos. Los cálculos de borde se implementan para la dirección x e y separadas.

Los valores de borde se comparan en primer lugar con un umbral predeterminado. Si el valor es mayor que este umbral, la posición [x,y] donde se calculó el valor de borde se establecerá a un borde. El signo del borde también se almacena. El cálculo de borde entrega si se ha detectado un borde y el signo del borde para tanto las direcciones x como y. A partir de la dirección del borde se obtiene una instantánea (que incluye los valores -1, 0, 1) ternaria (o trinario) que contiene información acerca de los bordes de la instantánea original. La información acerca de la dirección de los bordes y los signos también pueden obtenerse. Estos datos se usan para hallar dónde se encuentran los parpadeos en la instantánea. El algoritmo de búsqueda de borde puede usar esquemas más elaborados que tener múltiples valores umbrales para gradientes y sentencias lógicas para determinar si el candidato tiene la forma esperada. Esto es crucial para clasificar parpadeos de gafas, la esclerótica, joyería, etc. Los parpadeos de gafas normalmente son más alargados que los parpadeos de la córnea. Un algoritmo de componente conectado puede usarse para hallar objetos en una instantánea binaria que están conectados entre sí. La imagen binaria se obtiene tomando valores absolutos de la imagen ternaria. Es decir, si un píxel ternario con el valor (absoluto) de uno (marca un borde) está localizado cerca de otro píxel con valor uno se unen en un nuevo objeto con las características combinadas. Debido al flujo paralelo de subconjuntos de elementos de instantánea a las unidades de detección ocular, la totalidad de la instantánea no puede obtenerse al mismo tiempo lo que hace difícil la administración de los datos, que, sin embargo, se resuelve por la presente invención. En la Figura 4, se muestra un ejemplo de una instantánea binaria con dos objetos que se han conectado por un número de elementos identificados, es decir los binarios.

La instantánea binaria se reenvía a una unidad de retardo de fila 21 y a una máquina de espacio de estado 22 para un proceso de conexión. El proceso de conexión se realiza en los elementos de instantánea recibidos para determinar si un elemento identificado en una fila actual está conectado a un elemento en una fila (o columna) anterior. Una región de tales elementos conectados es un parpadeo potencial. Haciendo referencia a la Figura 4, se muestran dos de tales regiones de elementos conectados, el objeto 1 y el objeto 2. En el proceso de conexión, la información de la fila anterior se almacena en una memoria intermedia de fila 21 y junto con la información de la fila actual la máquina de espacio de estado 22 determina si un elemento identificado, es decir uno binario, está conectado a un elemento de la fila anterior. En la Figura 5, se muestra una vista detallada esquemática de la máquina de espacio de estado 22, y la memoria intermedia 23. Obsérvese que el ejemplo de la figura 4 se usa para explicar la concatenación de las filas actual y anterior. La máquina de estado 22 de acuerdo con esta realización consiste en 7 estados, donde hay estados (AddTag, NewTag, RelTag) que tienen lugar instantáneamente mientras que otros están controlados por señal de reloj desde un reloj de flujo de datos (no mostrado), por ejemplo, el sensor de imagen. Sin embargo, debería observarse que la máquina de estado descrita con referencia a la Figura 5 es a modo de ejemplo y para fines de ilustración.

5

10

15

20

25

30

35

40

45

50

55

60

65

La parte de estimación de pupila realizada en el módulo de generación de datos oculares 18 requiere datos de

posición y geométricos de los candidatos de parpadeo y pupila, por ejemplo el centro del parpadeo y la pupila,

tamaño, circularidad y valor constante. Para explicar estos parámetros, se hace referencia a la Figura 6. Está

conectado a un objeto desde cada 1 más amplio a otro 1. Basándose en esto, se calculan las características

geométricas de los candidatos de parpadeo y pupila, tal como radio a diferentes umbrales, circularidad, tamaño, baricentro. Otra característica calculada es el valor de contraste.

Posteriormente, los objetos, es decir parpadeos potenciales, identificados en el proceso anteriormente descrito pueden reenviarse al módulo de generación de datos oculares 18 donde se realiza una comprobación de si los parpadeos potenciales y una pupila potencial identificados, identificados en el proceso de extracción de la pupila que se describirá a continuación, constituyen un ojo.

Con referencia ahora a la Figura 7, se describirá el módulo de extracción de pupila 17. Los principios para el proceso de extracción de la pupila son similares al proceso de extracción de parpadeo. Sin embargo, analizaremos brevemente el módulo de extracción de pupila 17 a continuación. Los datos de imagen, es decir un subconjunto de un fotograma de imagen digital, se reciben en una unidad de filtro 30 donde los elementos de instantánea recibidos, incluyendo cada uno un valor de intensidad, se filtran en diferentes etapas de filtración. En una realización, los elementos de instantánea recibidos se procesan en tres diferentes etapas de filtración. En primer lugar, los elementos de instantánea se filtran en una unidad de filtro FIR (filtro de Respuesta al Impulso Finita) para reducir el ruido. Los componentes de señal de la pupila tienen una frecuencia relativamente baja y, por lo tanto, los componentes de señal que tienen una frecuencia alta se filtran en el filtro de FIR. En esta realización, el filtro de FIR es un filtro de 1 dimensión de orden 20. Posteriormente, los elementos de instantánea se filtran en un filtro no lineal, donde se procesan subsecciones del subconjunto de manera que se eliminan valores inferiores de manera sucesiva en el caso de una imagen capturada a condiciones de pupila brillante, o de manera que se eliminan valores superiores de manera sucesiva en el caso de una imagen capturada a condiciones de pupila oscuras. A continuación, los elementos de instantánea se procesan en un filtro de homogeneización que incluye un procedimiento de cuantificación. Después del proceso de filtración, el subconjunto filtrado de los elementos de instantánea se transfiere a una unidad de retardo de fila 31 y las unidades de retardo de columna 32, y 34. En la máquina de espacio de estado 35, se realiza un procedimiento similar a conectar elementos de instantánea vecinos como se ha descrito anteriormente en relación con el procedimiento de extracción de parpadeo. En este caso, se identifican los objetos (es decir elementos de instantánea adyacentes) que tienen el mismo nivel de valor de intensidad. Los objetos potenciales se almacenan temporalmente en la memoria intermedia 36. Cuando se liberan los objetos y se almacenan en la memoria intermedia 37 (después de filtrarse en la unidad de filtro 38), cada uno de los objetos se define por valor de intensidad y datos de coordenadas en la dirección x y la dirección y (X-inicio, Y- inicio, X-fin e Y-fin).

Posteriormente, los objetos, es decir pupilas potenciales, identificados en el proceso anteriormente descrito pueden reenviarse al módulo de generación de datos oculares 18 donde se realiza una comprobación de si los parpadeos potenciales y una pupila potencial identificados constituyen un ojo. El módulo de generación de datos oculares 18 puede adaptarse a información de realimentación al sensor 11 acerca de las posiciones donde se ha hallado un ojo u ojos y/o parpadeos en fotogramas de imágenes anteriores para seleccionar la porción de la superficie sensible a la luz del sensor 11 que se ha de exponer antes de que se tome cada nueva instantánea o para usarse en cada nueva instantánea y controla el sensor 11 de acuerdo con lo mismo. Además, puede ordenarse al sensor que reenvíe únicamente subconjuntos de una porción seleccionada de este tipo a las unidades de detección ocular 14a y 14b para el parpadeo y/o proceso de extracción de la pupila. Si el ojo u ojos del usuario está o están y/o se encuentran parpadeos en la instantánea anterior únicamente se usa una pequeña porción de los elementos de instantánea de la superficie sensible a la luz del sensor 11. Únicamente en el caso donde no se haya encontrado ni ojo ni parpadeos, se reenvían los datos desde todos los elementos de instantánea de la superficie sensible a la luz del sensor 11 a las unidades de detección ocular 14a, 14b. De esta manera, la carga de procesamiento puede reducirse incluso adicionalmente y la velocidad de muestreo puede mejorarse incluso adicionalmente. Como alternativa, o como un complemento, el módulo de generación de datos oculares 18 puede adaptarse para realimentar información de amplitud de los valores de intensidad de un ojo u ojos detectados o un parpadeo o parpadeos detectados al sensor 11. El módulo de generación de datos oculares 18 por lo tanto usa información de los valores de amplitud de ojos identificados o parpadeos de instantáneas anteriores para seleccionar la porción de la superficie sensible a la luz del sensor 11 que se ha de exponer antes de que se tome cada nueva instantánea o para usarse en cada nueva instantánea y controla el sensor 11 de acuerdo con lo mismo. Por ejemplo, puede establecerse un umbral de amplitud de manera que únicamente se seleccionen regiones que incluyen elementos de instantánea que tienen un valor de intensidad por encima de un umbral de amplitud predeterminado para exposición antes de que se tome una nueva instantánea o se usen en una nueva instantánea.

En otro ejemplo, se establecen umbrales de amplitud, por ejemplo, un intervalo, de manera que únicamente se seleccionan regiones que incluyen elementos de instantánea que tienen un valor de intensidad en un intervalo de amplitud predeterminado para exposición antes de que se tome una nueva instantánea o se usen en una nueva instantánea.

Aunque la invención desvelada en el presente documento se ha descrito por medio de realizaciones específicas y aplicaciones de la misma, podrían realizarse en la misma numerosas modificaciones y variaciones por los expertos en la materia sin alejarse del alcance de las invenciones, que se define por las reivindicaciones adjuntas.

Claims

5

10

15

20

25

30

35

40

45

50

55

60

65

REIVINDICACIONES

1. Un sistema de detección ocular (5) que comprende:

al menos un elemento iluminador (10) adaptado para emitir luz en una dirección hacia la cabeza (9) de un usuario;

al menos un sensor de imagen (11) que está adaptado para: recibir luz desde la cabeza iluminada (9) de un usuario;

capturar instantáneas, estando representada cada instantánea por un fotograma de imagen digital que comprende una matriz de elementos de instantánea; y

emitir una pluralidad de subconjuntos de datos, incluyendo cada subconjunto de datos al menos una fila o una columna de elementos de instantánea de dicho fotograma de imagen digital; una pluralidad de unidades de detección ocular (14a, 14b) conectadas a dicho sensor de imagen (11), en donde cada unidad de detección ocular (14a, 14b) está adaptada para recibir un respectivo subconjunto de datos y para operar sustancialmente en paralelo entre sí, en donde cada una de dichas unidades de detección ocular (14a, 14b) incluye un módulo de extracción de característica ocular (15) adaptado para realizar un proceso de extracción de característica oculares en el respectivo subconjunto de datos para identificar características oculares predeterminadas en dicho fotograma digital, y

un módulo de generación de datos oculares (18) conectado a dichas unidades de detección ocular (14a, 14b) y que está adaptado para:

recibir información de características oculares identificadas potenciales desde dichas unidades de detección ocular (14a, 14b), incluyendo dicha información coordenadas de elemento de instantánea para dichas características oculares identificadas, y el subconjunto recibido de elementos de instantánea, y generar datos oculares basándose en dicha información de características oculares potenciales en caso de que dichas características oculares identificadas satisfagan condiciones predeterminadas, y transferir datos oculares generados y los subconjuntos recibidos de elementos de instantánea a un módulo de procesamiento (20), y en donde un flujo de datos de dichos datos oculares y el subconjunto de elementos de instantánea de un fotograma de imagen digital son sustancialmente paralelos.
2. El sistema de detección ocular de acuerdo con la reivindicación 1, en el que dicho módulo de extracción de característica ocular (15) está adaptado para:

procesar cada valor de intensidad de los elementos de instantánea de un subconjunto de datos recibidos; determinar secuencialmente si los elementos adyacentes de instantánea de una fila o una columna del subconjunto de datos están correlacionados comparando el valor de intensidad procesado de dichos elementos de instantánea, en donde se determina que los elementos de instantánea están correlacionados si el respectivo valor de intensidad procesado satisface condiciones predeterminadas;

determinar si los elementos correlacionados en una fila o una columna están correlacionados con elementos de una fila o una columna anteriores, respectivamente; conectar tales elementos correlacionados en subregiones de elementos; y

determinar que tales subregiones incluyen características oculares potenciales.
3. El sistema de detección ocular de acuerdo con las reivindicaciones 1 o 2, en el que dicho módulo de extracción de característica ocular (15) incluye un módulo de extracción de parpadeo (16) adaptado para realizar un proceso de extracción de parpadeo en los elementos de instantánea recibidos para identificar elementos de instantánea que incluyen al menos una parte de un parpadeo potencial de un ojo del usuario, en donde dicho módulo de extracción de parpadeo (16) está adaptado, en dicho proceso de extracción de parpadeo, para:

realizar un cálculo de borde para determinar valores de borde de los respectivos elementos de instantánea de un subconjunto de datos recibidos;

determinar secuencialmente si los elementos de instantánea adyacentes de una fila o una columna del subconjunto de datos están correlacionados comparando el respectivo valor de borde, en donde se determina que los elementos de instantánea están correlacionados si el valor de borde es el mismo;

determinar si los elementos correlacionados en una fila o una columna están correlacionados con elementos de

una fila o una columna anteriores, respectivamente;

conectar tales elementos correlacionados en subregiones de elementos; y

determinar que tales subregiones son un parpadeo potencial.
4. El sistema de detección ocular de acuerdo con las reivindicaciones 1, 2 o 3, en el que dicho módulo de extracción de característica ocular (15) incluye un módulo de extracción de pupila (17) adaptado para realizar un proceso de extracción de región pupilar en los elementos de instantánea recibidos para identificar elementos de instantánea que incluyen al menos una parte de una región pupilar potencial de un ojo del usuario, en donde dicho módulo de extracción de pupila (17) está adaptado, en dicho proceso de extracción de la pupila, para:

5

10

15

20

25

30

35

40

45

50

55

60

65

determinar secuencialmente si los elementos adyacentes de instantánea de una fila o una columna del subconjunto de datos recibidos están correlacionados comparando el respectivo valor de intensidad, en donde se determina que dos elementos están correlacionados si los valores de intensidad están en un intervalo predeterminado;

determinar si los elementos correlacionados en una fila o una columna están correlacionados con elementos de una fila o una columna anteriores, respectivamente;

conectar tales elementos correlacionados en subregiones de elementos; y determinar tales subregiones que son al menos una pupila potencial.
5. La unidad de detección ocular de acuerdo con una cualquiera de las reivindicaciones anteriores 2 - 4, en la que dicho módulo de generación de datos oculares (15) está adaptado para generar datos oculares si los elementos de instantánea que incluyen al menos una parte de una pupila potencial y los elementos de instantánea que incluyen al menos una parte de un parpadeo potencial están en una distancia predeterminada entre sí en una sub-región.
6. La unidad de detección ocular de acuerdo con la reivindicación 5, en la que dicho módulo de generación de datos oculares (15) está adaptado para:

mapear subregiones determinadas que son al menos una parte de una pupila potencial y subregiones determinadas que son un parpadeo potencial para establecer si hay un solapamiento o una relación estrecha en distancia, y si se establece un solapamiento o una relación estrecha en distancia de este tipo entre al menos una parte de una pupila potencial y al menos un parpadeo, determinar que las subregiones que incluyen dicha al menos una parte de una pupila potencial y dicho al menos un parpadeo constituyen un ojo.
7. La unidad de detección ocular de acuerdo con una cualquiera de las reivindicaciones anteriores, en la que dicho módulo de generación de datos oculares (15) está adaptado para usar información acerca de en qué elementos de instantánea se identificaron características oculares en un subconjunto de datos de al menos un fotograma de imagen digital anterior cuando se identifican características oculares en un subconjunto de datos de una imagen digital actual.
8. La unidad de detección ocular de acuerdo con una cualquiera de las reivindicaciones anteriores 1 - 6, en la que dicho módulo de generación de datos oculares (15) está adaptado para enviar información al sensor de imagen que ordena que el sensor reenvíe elementos de instantánea de un subconjunto de datos de al menos un fotograma de imagen digital posterior, que corresponde a elementos de instantánea en los que se identificaron características oculares en un subconjunto de datos de un fotograma de imagen digital anterior, a al menos una unidad de detección ocular.
9. Un método para detectar un ojo usando un sistema de detección ocular que comprende al menos un elemento iluminador (10) adaptado para emitir luz en una dirección hacia la cabeza (9) de un usuario; y al menos un sensor de imagen (11) que está adaptado para recibir luz desde la cabeza iluminada (9) de un usuario y capturar instantáneas, estando representada cada instantánea por un fotograma de imagen digital que comprende una matriz de elementos de instantánea, comprendiendo dicho método las etapas de:

proporcionar una pluralidad de subconjuntos de datos a una pluralidad de unidades de detección ocular (14a, 14b), incluyendo cada subconjunto de datos al menos una fila o una columna de elementos de instantánea de un fotograma de imagen digital;

operar la pluralidad de unidades de detección ocular (14a, 14b) en paralelo entre sí para realizar procesos de extracción de características oculares en paralelo en el respectivo subconjunto de datos para identificar características oculares predeterminadas en dicho fotograma digital;

enviar información de características oculares identificadas potenciales desde dichas unidades de detección ocular (14a, 14b), incluyendo dicha información coordenadas de elemento de instantánea para dichas características oculares identificadas, y el subconjunto recibido de elementos de instantánea a un módulo de generación de datos oculares (18), y

generar datos oculares basándose en dicha información de características oculares potenciales, en caso de que dichas características oculares identificadas satisfagan condiciones predeterminadas, y

transferir datos oculares generados y los subconjuntos recibidos de elementos de instantánea a un módulo de procesamiento (20), y en donde un flujo de datos de dichos datos oculares y el subconjunto de elementos de instantánea de un fotograma de imagen digital son sustancialmente paralelos.
10. El método de acuerdo con la reivindicación 9, en el que la etapa de realizar procesos de extracción de característica ocular en paralelo incluye las etapas de:

procesar cada valor de intensidad de los elementos de instantánea de un subconjunto de datos recibidos; determinar secuencialmente si los elementos adyacentes de instantánea de una fila o una columna del subconjunto de datos están correlacionados comparando el valor de intensidad procesado de dichos elementos de instantánea, en donde se determina que los elementos de instantánea están correlacionados si el respectivo

5

10

15

20

25

30

35

40

45

50

55

valor de intensidad procesado satisface condiciones predeterminadas;

determinar si los elementos correlacionados en una fila o una columna están correlacionados con elementos de

una fila o una columna anteriores, respectivamente;

conectar tales elementos correlacionados en subregiones de elementos; y

determinar que tales subregiones incluyen características oculares potenciales.
11. El método de acuerdo con las reivindicaciones 9 o 10, en el que proceso de extracción de característica ocular incluye un proceso de extracción de parpadeo que incluye las etapas de:

realizar un cálculo de borde para determinar valores de borde de los respectivos elementos de instantánea de un subconjunto de datos recibidos;

determinar secuencialmente si los elementos adyacentes de instantánea de una fila o una columna del subconjunto de datos están correlacionados comparando el respectivo valor de borde, en donde se determina que los elementos de instantánea están correlacionados si el valor de borde es el mismo;

determinar si elementos correlacionados en una fila o una columna están correlacionados con elementos de una fila o una columna anteriores, respectivamente;

conectar tales elementos correlacionados en subregiones de elementos; y determinar que tales subregiones son un parpadeo potencial.
12. El método de acuerdo con las reivindicaciones 9, 10 u 11, en el que dicho proceso de extracción de característica ocular incluye un proceso de extracción de la pupila que incluye las etapas de:

determinar secuencialmente si los elementos adyacentes de instantánea de una fila o una columna del subconjunto de datos recibidos están correlacionados comparando el respectivo valor de intensidad, en donde se determina que dos elementos están correlacionados si los valores de intensidad están en un intervalo predeterminado;

determinar si los elementos correlacionados en una fila o una columna están correlacionados con elementos de una fila o una columna anteriores, respectivamente;

conectar tales elementos correlacionados en subregiones de elementos; y determinar que tales subregiones son al menos una pupila potencial.
13. El método de acuerdo con una cualquiera de las reivindicaciones anteriores 10 - 12, en el que dicha etapa de generación de datos oculares incluye generar datos oculares si los elementos de instantánea que incluyen al menos una parte de una pupila potencial y los elementos de instantánea que incluyen al menos una parte de un parpadeo potencial están en una distancia predeterminada entre sí en una sub-región.
14. El método de acuerdo con la reivindicación 13, en el que dicha etapa de generación de datos oculares incluye las etapas de:

mapear subregiones que se determina que son al menos una parte de una pupila potencial y subregiones que se determina que son un parpadeo potencial para establecer si hay un solapamiento o una relación estrecha en distancia, y

si se establece un solapamiento o una relación estrecha en distancia de este tipo entre al menos una parte de una pupila potencial y al menos un parpadeo, determinar que las subregiones que incluyen dicha al menos una parte de una pupila potencial y dicho al menos un parpadeo constituyen un ojo.
15. El método de acuerdo con una cualquiera de las reivindicaciones anteriores 9 - 14, en el que dicha etapa de generación de datos oculares incluye la etapa de usar información acerca de en qué elementos de instantánea se identificaron características oculares en un subconjunto de datos de al menos un fotograma de imagen digital anterior cuando se identifican características oculares en un subconjunto de datos de una imagen digital actual.
16. El método de acuerdo con una cualquiera de las reivindicaciones anteriores 9 - 15, que incluye adicionalmente las etapas de controlar dicho sensor de imagen (11) para reenviar elementos de instantánea de un subconjunto de datos de al menos un fotograma de imagen digital posterior, que corresponde a elementos de instantánea en los que se identificaron características oculares en un subconjunto de datos de un fotograma de imagen digital anterior, a al menos una unidad de detección ocular (14a, 14b).