BRPI0915889B1 - Aparelho e método para monitorar o movimento de objetos através de uma região de monitoramento - Google Patents

Abstract

aparelho e método de classificação do movimento de objetos em uma zona de monitoração. a presente invenção refere-se a um aparelho para monitorar o movimento de objetos (26) através de uma região de monitoração (12) que compreende uma câmera no alto (20) sensível à presença ou à ausência de um objeto (26) em cada zona de uma pluralidade de zonas adjacentes (24.1 a 24.n) na região de forma individual. dispõem-se as zonas de modo a se ter ao menos duas fileiras adjacentes de zonas em uma primeira direção (y) e ao menos duas fileiras adjacentes de zonas em uma direção (x) perpendicular à primeira direção. associa-se cada zona a um respectivo índice de zona. opera-se a câmera para capturar imagens em sequência no tempo (a) a (f) de objetos que se movem através da região compreendendo dados sentidos relacionados à presença ou à ausência de objetos em cada uma das zonas. conecta-se uma disposição de processador à câmera para processar os dados sentidos em um padrão multidimensional de presença ou de ausência dos objetos nas zonas, sendo que o tempo é uma primeira dimensão e o índice de zona é uma segunda dimensão. configura-se a disposição e processamento a fim de segmentar o padrão em partes-padrão relacionadas a eventos. proporciona-se um classificador a fim de classificar as partes-padrão com referência a dados históricos relacionados a eventos antecipados, para através disto proporcionar uma contagem de objetos que se movem em ao menos em uma direção através da região.

Description

INTRODUÇÃO E ANTECEDENTES

[0001] A presente invenção refere-se a um aparelho e a um método de monitoramento do movimento de objetos em uma região de monitoramento.

[0002] Na patente US Número 5. 519.784, descreve-se um aparelho e um método de classificação do movimento de objetos ao longo de uma passagem. O aparelho compreende um meio para projetar um conjunto de feixes de radiações lineares distintas e separadas em paralelo de um lado da passagem ao lado oposto da passagem. Detectores no lado oposto da passagem sentem quando os feixes são interrompidos por uma ou mais pessoas que se movem na passagem tanto em uma primeira direção como em uma segunda direção oposta. Os feixes separados são interrompidos em tempos diferentes em uma sequência que corresponde à quantidade e à direção do movimento das pessoas. Os sinais de feixes luminosos interrompidos gerados de forma sequencial são armazenados como informação de histórico de movimento do objeto na memória e em seguida processados para gerar padrões de interrupção de feixes combinados que evidenciam a quantidade de pessoas e a direção de movimento, sendo os padrões uma função de domínio de tempo e de índice de sensor, quer dizer, a identidade de sensor e a posição na passagem. Comparam-se os padrões gerados resultantes a padrões de referência ao se utilizar uma análise de reconhecimento de padrão computadorizada, como, por exemplo, uma rede neural artificial. A comparação classifica as pessoas na passagem quanto à direção de movimento e o número.

[0003] Este aparelho e método podem não ser adequados a algumas aplicações. Por exemplo, monta-se o meio para projetar os feixes espaçados em paralelo em um alojamento alongado. Monta-se normalmente o alojamento em um lado da passagem para se estender paralelo ao piso aproximadamente entre o tornozelo e o joelho. Este alojamento pode ser demasiado grande para se encaixar no espaço disponível a esse fim e/ou pode não ser esteticamente aceitável em determinadas aplicações. Além disso, é trabalhoso, demorado e custoso montar este aparelho em ambos os lados da passagem, sendo frequentemente necessário embuti-lo nas paredes laterais da passagem a fim de instalar a fiação que se estende ao aparelho. Ademais, o meio de projeção de feixes de um lado e os detectores do outro lado podem se desalinhar, o que pode fazer cessar o funcionamento do aparelho. Outro problema com este aparelho montado na lateral é uma pessoa ou objeto parado na passagem poder interromper os feixes e, portanto, causar pelo menos a insensibilidade temporária do aparelho em relação a outros objetos que se movem ao longo da passagem em ambos os lados do objeto parado. Ainda um problema adicional é o alcance dos feixes projetados não ser suficiente para atravessar uma passagem larga. Exigem-se estruturas intermediárias que carregam um aparelho adicional com todas as desvantagens supramencionadas para cobrir uma passagem larga. Outro sistema conhecido, porém fundamentalmente diferente, usa algoritmos de rastreio e tenta identificar objetos distintos e monitorar as suas posições entre estruturas sucessivas produzidas por uma disposição de sensor de objetos, com a finalidade de determinar um vetor para cada objeto de interesse. O processamento é complexo, uma vez que requer uma análise completa de cada estrutura e em seguida uma comparação com estruturas anteriores para determinar se um objeto ou é um objeto anterior em uma nova posição ou um novo objeto como um todo. Associada a isso ocorre a dificuldade de, por um lado, distinguir entre duas pessoas e, por outro lado, como exemplo, uma pessoa que carrega uma mochila ou malas. Isolando os objetos e obtendo seus vetores, o sistema é capaz de rastrear os seus movimentos através de uma região de monitoramento predeterminada e assim, consequentemente, aumentar ou diminuir contagens. Qualquer incapacidade do sistema em isolar objetos, unir as suas sucessivas posições, ou distinguir a quantidade de objetos compromete a precisão do sistema. Além disso, a análise visual concentra-se demasiadamente no processador sendo, em consequência, dispendiosa.

OBJETIVO DA INVENÇÃO

[0004] Consequentemente, constitui-se um objetivo da presente invenção proporcionar um aparelho e um método alternativos de monitoramento de movimento de objetos através de uma região de monitoramento.

SUMÁRIO DA INVENÇÃO

[0005] De acordo com a invenção, proporciona-se um aparelho para monitorar o movimento de objetos através de uma região de monitoramento, o aparelho compreendendo: - uma disposição de sensor sensível à presença ou à ausência de um objeto em cada zona de uma pluralidade de zonas adjacentes na região; - as zonas dispostas de modo a ter pelo menos duas fileiras adjacentes de zonas em uma primeira direção e pelo menos duas fileiras adjacentes de zonas em uma direção perpendicular à primeira direção; - cada zona associada a um respectivo índice de zona; - a disposição de sensor configurada para ser sensível à presença ou à ausência de um objeto em cada uma das zonas de forma individual, além de operante à captura de representações sequenciais no tempo de objetos que se movem através da região compreendendo dados detectados relacionados à presença ou à ausência de objetos em cada uma das zonas; - uma disposição de processador conectada à disposição de sensor para processar os dados detectados em um padrão multidimensional da presença ou ausência dos objetos nas zonas, sendo o tempo uma primeira dimensão e o índice de zona uma segunda dimensão; - a disposição de processador configurada para segmentar o padrão em partes-padrão relacionadas aos eventos; e - um classificador para classificar as partes-padrão com referência a dados históricos relacionados a eventos antecipados.

[0006] A disposição de sensor pode compreender pelo menos uma câmera montada sobre a região de monitoramento.

[0007] A disposição de sensor pode compreender um par estéreo de câmeras que cobrem a região de ângulos diferentes.

[0008] Portanto, o sistema de acordo com a invenção não tenta identificar cada objeto exclusivo no campo de visão, porém analisa um evento e comparando isto ao conhecimento anterior de configurações de eventos torna-se capaz de fornecer uma figura de contagem ao usar o classificador, que pode compreender uma rede neural. O processamento de imagem é relativamente simples, podendo ser feito de forma relativamente barata, enquanto a própria rede neural pode rodar em um microprocessador comparativamente simples, assim economizando custos. Acredita-se que o sistema também pode minorar pelo menos alguns dos supramencionados problemas associados ao sistema de montado na lateral da patente US Número 5.519.784.

[0009] A pluralidade de zonas pode formar um conjunto de zonas imediatamente adjacentes, sendo que cada zona pode ter uma primeira dimensão na primeira direção, uma segunda dimensão na segunda direção, além de uma área.

[00010] Os dados detectados podem compreender dados ou um parâmetro proporcional a uma parte da área da zona ocupada pelo objeto.

[00011] Pode-se configurar a disposição de processador a fim de segmentar o padrão ao longo da dimensão de tempo em regiões do padrão de inatividade.

[00012] De acordo com outro aspecto da invenção, proporciona-se um método para monitorar o movimento de objetos através de uma região de monitoramento, o método compreendendo as etapas de: - dividir a região em uma pluralidade de zonas, associando- se cada zona a um índice de zona; - dispor as zonas de modo a ter pelo menos duas fileiras adjacentes em uma primeira direção e pelo menos duas fileiras adjacentes em uma direção perpendicular à primeira direção; - utilizar uma disposição de sensor de forma automática e sequencial no tempo para sentir a presença ou a ausência de objetos em cada uma das zonas de forma individual; - gerar dados relacionados a um padrão multidimensional da presença ou da ausência dos objetos nas zonas, sendo o tempo uma primeira dimensão e o índice de zona uma segunda dimensão; - segmentar o padrão em partes-padrão relacionadas a eventos; e - classificar as partes-padrão com referência aos dados históricos relativos a eventos antecipados.

[00013] Inclui-se ainda no âmbito da presente invenção um meio legível por computador que recebe um programa de computador para monitorar o movimento de objetos através de uma região de monitoramento, o programa executando as etapas de: - receber de uma disposição de sensor de dados detectados relativos a representações sequenciais no tempo de objetos que se movem através da região, os dados detectados compreendendo dados relativos à presença ou à ausência de objetos em cada zona da pluralidade de zonas, sendo as zonas dispostas de modo a ter pelo menos duas fileiras adjacentes de zonas em uma primeira direção e pelo menos duas fileiras adjacentes de zonas em uma direção perpendicular à primeira direção, sendo que se associa cada zona a um índice de zona; - gerar dados relativos a um padrão multidimensional da presença ou da ausência dos objetos nas zonas, sendo que o tempo é uma primeira dimensão e o índice de zona é uma segunda dimensão; - segmentar o padrão em partes-padrão relativas aos eventos; e - classificar as partes-padrão com referência aos dados históricos relativos a eventos antecipados, com isso, em uso proporcionar como uma saída uma contagem de objetos que se movem em pelo menos uma direção através da região.

[00014] A invenção também se estende ao firmware que compreende um programa de computador, além de um programa de computador configurado para executar as etapas supramencionadas.

BREVE DESCRIÇÃO DOS DIAGRAMAS ANEXADOS

[00015] Descreve-se a seguir a invenção, tomando como referência os diagramas anexados somente a título de exemplo, em que: a figura 1 é uma representação diagramática de uma região de monitoramento com uma câmera do aparelho para monitorar o movimento de objetos através da região montada acima da região; a figura 2 é uma representação diagramática de um conjunto de zonas na região de monitoramento; a figura 3 é um diagrama de blocos do aparelho; a figura 4 é um diagrama de fluxo de partes relevantes de um método para monitorar o movimento de objetos através de uma região de monitoramento; a figura 5 é um diagrama que ilustra imagens sequenciais no tempo de um objeto elíptico que se move através da região; a figura 6 é uma representação tridimensional, sendo o tempo uma dimensão do objeto que se move através da região; a figura 7 é uma representação alternativa, em que os três tensores tridimensionais foram nivelados em uma matriz bidimensional; a figura 8 é uma representação resultante do evento da figura 5; a figura 9 é uma imagem dos eventos nas figuras 5 e 9; a figura 10 é uma fotografia tomada desde acima de uma pluralidade de pessoas que se movem através da região; a figura 11 é uma representação similar à figura 6 do evento na figura 10; a figura 12 é uma imagem similar à figura 9 do evento da figura 10; a figura 13 é um gráfico de distribuições associadas a um canal de pixel; a figura 14 é uma representação de um modelo de subevento simples; a figura 15 representa imagens de busca de subeventos; a figura 16 é uma representação de centros de definição máximos de subeventos; a figura 17 é uma representação das quatro primeiras dimensões de um modelo de subevento; a figura 18 é uma representação de subeventos extraídos do evento na figura 15 e as suas classificações; e a figura 19 é uma representação do evento original na figura 15 e de um evento residual depois de removidos os subeventos na figura 18.

DESCRIÇÃO DE UMA MODALIDADE PREFERENCIAL DA INVENÇÃO

[00016] Designa-se de forma geral o aparelho para monitorar o movimento de objetos através de uma região de monitoramento 12 por meio do número de referência 10 nas figuras 1 e 2.

[00017] A região 12 pode fazer parte de uma entrada ou passagem 14 em um ponto de contagem, tal como uma entrada 16 para um prédio 18, sendo que se pode empregar o aparelho 19 de forma automática e durante um período de tempo para monitorar e contar as pessoas 26 que entram e deixam o prédio através dessa entrada, como se descreve de agora em diante.

[00018] O aparelho 10 compreende uma disposição de sensor 20 sensível à presença ou à ausência de um objeto 26 em cada zona da pluralidade de zonas adjacentes 24.1 a 24.n na região. Com referência à figura 2, dispõem-se as zonas 24,1 a 24.n de modo a se ter pelo menos duas fileiras adjacentes de zonas em uma primeira direção y (isto é, uma direção geral de fluxo de objetos através da região) e pelo menos duas fileiras adjacentes de zonas em uma direção x perpendicular à primeira direção. Associa-se cada zona 24.1 a 24.n a um respectivo índice de zona. Configura-se a disposição de sensor 20 de modo a ser sensível à presença ou à ausência do objeto em cada uma das zonas de forma individual, além de operante na captura de representações sequenciais no tempo, de preferência imagens (conforme se mostra nas figuras 5 e 6) de um objeto que se move através da região. As imagens compreendem dados detectados que englobam dados relativos à presença ou ausência do objeto em cada uma das zonas. Conecta-se uma disposição de processador 22 (mostrada na figura 3) à disposição de sensor 20 a fim de processar os dados detectados em um padrão multidimensional (mostrado nas figuras 7 e 8) da presença ou ausência do objeto nas zonas à medida que o objeto se move através da região, sendo o tempo uma primeira dimensão e o índice de zona uma segunda dimensão. Configura-se ainda a disposição de processador para segmentar o padrão em partes-padrão relacionadas aos eventos, além de um classificador para classificar em tempo real as partes-padrão tomando como referência dados históricos relacionados a eventos antecipados.

[00019] A disposição de sensor pode compreender pelo menos um sensor de imagem, tal como uma câmera de vídeo 20 e a ótica associada 21, montado na zona 12, a fim de capturar imagens sequenciais em tempo da zona, cada imagem compreendendo dados detectados. Além disso, o aparelho compreende um subsistema eletrônico 23 que engloba a disposição de processador 22 (mostrada na figura 3) conectada à câmera 20 a fim de receber os dados detectados da câmera e gerar os dados de padrão multidimensional, como se descreve de agora em diante.

[00020] Monta-se de preferência a câmera 20 sobre a passagem em um teto 28 e, portanto, acima da região de monitoramento 12. A câmera pode compreender uma câmera de par estéreo que engloba a primeira e a segunda câmeras dirigidas à região em ângulos diferentes de modo a cobrir a região de diferentes ângulos a fim de adicionar uma dimensão extra e para definir a região de monitoramento 12 em um nível adequado ou altura h acima de um piso 30 da passagem 14. Pode-se proporcionar o subsistema 23 na zona de monitoramento de forma alternativa e central no mesmo prédio para se conectar a uma disposição de sensor similar em outras entradas (não mostradas) do prédio, e, ainda de forma alternativa, pode-se posicionar o subsistema remotamente e em um local não especificado (off-site).

[00021] Em uma modalidade de exemplo que se mostra na figura 2, a região de monitoramento 12 compreende um primeiro eixo geométrico yque se estende em uma primeira direção, além de um segundo eixo geométricoxque se estende em uma segunda direção perpendicular à primeira direção, de modo que cada zona tem uma área. A supramencionada pluralidade de zonas 24.1 a 24.n na zona de monitoramento 12 forma um conjunto de fileiras e colunas de regiões adjacentes, cada uma delas com uma primeira dimensão na primeira direção e uma segunda dimensão na segunda direção.

[00022] Em uma modalidade de exemplo que se mostra na figura 3, conecta-se a câmera 20 à disposição de processador 22 do subsistema 23. A disposição de processador compreende um conjunto de portas programáveis de campo (FPGA) e, de forma alternativa, um dispositivo lógico programável complexo (CPLD) 32. Conecta-se o FPGA a uma disposição de RAM de porta dupla 34, sendo a disposição 34 conectada a um núcleo de processamento 36. Em outras modalidades (não mostradas), a disposição de processador 22 pode compreender uma interface de câmera e um processador com Acesso de Memória Direto (DMA). Além disso, o subsistema 23 compreende um módulo de comunicações 38 conectado ao núcleo de processamento 36 e ao conjunto de circuitos lógicos 40. Conectam-se ainda ao conjunto de circuitos lógicos um relógio de tempo real (RTC) 42, a disposição de memória de dados 44, e a disposição de memória de programas 46. Proporciona-se energia elétrica ao aparelho 10 por intermédio do módulo de suprimento de energia 48, conectável ao conjunto principal de energia elétrica. O módulo de comunicações 38 permite comunicações de dados entre o aparelho 10 e uma rede externa.

[00023] Como foi dito, configura-se a câmera 20 para capturar imagens sequenciais no tempo da região 12. Portanto, associa-se cada imagem e os seus dados detectados associados a dados relacionados a um único tempo, proporcionando-se assim uma dimensão de tempo aos dados detectados, além de uma representação multidimensional, como se descreve de agora em diante.

[00024] Com referência à figura 5, ilustram-se nas figuras 5(a) a 5(f) imagens sequenciais no tempo geradas pela disposição de sensor 20, quando um objeto elíptico 26 se move através da região 12. Por exemplo, no tempo da segunda imagem, isto é, a imagem na figura 5(b), o objeto cobre completamente a zona 24.3 e parcialmente as zonas 24.2, 24.4, e 24.8. Os dados detectados podem, como um parâmetro, incluir dados proporcionais a uma parte da área da zona ocupada ou coberta pelo objeto.

[00025] Pode-se representar o fluxo de dados detectados ou matrizes nas figuras 5(a) a 5(f) em uma representação tridimensional, sendo o tempo uma dimensão, como se ilustra na figura 6.

[00026] Pode-se reorganizar a representação tridimensional orientando-se as matrizes, nivelando desse modo o tensor tridimensional em uma representação bidimensional, sendo o tempo (t) uma dimensão, conforme se ilustra na figura 7.

[00027] Segmenta-se o fluxo de matrizes de padrão no tempo que corresponde aos períodos de atividade. Desencadeia-se um evento sempre que a soma de elementos de matriz padrão exceder um nível de limite sobre um pequeno conjunto de estruturas consecutivas. De forma inversa, conclui-se um evento sempre que a soma cai abaixo do limite em relação a um conjunto de estruturas consecutivas.

[00028] Mostram-se as representações do evento na figura 5 nas figuras 8 e 9.

[00029] Mostra-se na figura 10 outro evento de exemplo no qual uma pluralidade de pessoas se move em uma ou outra direção através da região 12. A figura 11 corresponde à figura 6 para o último evento e a figura 12 corresponde à figura 9 para este último evento.

[00030] Com referência agora à figura 4, o aparelho e o método têm os componentes principais que seguem, o pré-processamento 60, a extração de evento 70, a extração de configuração 80, e a classificação 90, com a finalidade de transformar e processar uma massa de dados relacionados de pixels em um volume de vídeo de até dois números, a saber, a contagem na direção A e a contagem na direção B.

[00031] O pré-processamento de vídeo de extremidade anterior 60 diz respeito ao processamento do fluxo bruto de pixels em uma forma distinta ainda que constante em relação ao fundo, assim como à variação global em intensidade luminosa e contraste. Esta parte do sistema pode ser de forma computacional a mais sensível, uma vez que ela opera em um nível por pixel. Assim, de forma intencional mantém-se relativamente simples o processamento de vídeo. Em 62, reduz-se primeiro a imagem até um tamanho manejável filtrando-se e reduzindo-se a resolução de imagem. A partir desta imagem modificada no tamanho extrai-se uma região ativa. A região ativa é uma área de usuário especificada em uma estrutura que define o limite além do qual se contam as pessoas. Em benefício da eficácia computacional, exige-se que este limite seja reto e alinhado aos eixos geométricos da imagem. Este limite define duas direções, a primeira direção de fluxoy e a segunda direção x perpendicular a ela. A região ativa é um retângulo alinhado ao eixo geométrico que se centraliza no limite. Especifica-se a largura lateral do retângulo por intermédio do usuário, sendo a sua dimensão ao longo da direção de fluxo determinada através da escala relativa de uma pessoa média na estrutura.

[00032] Além disso, somente se processa a região ativa, sendo descartado o restante da estrutura. Uma importante tarefa do pré- processamento é a normalização do vídeo de entrada sem tratamento em relação ao plano de fundo. Neste contexto, deve-se definir o plano de fundo como a parte da imagem que corresponde aos objetos na cena que estão fisicamente estáticos durante um prolongado período de tempo. O primeiro plano, ao contrário, corresponde às partes da imagem que representam fisicamente objetos em movimento. Para segmentar cada estrutura dessa forma, constroem-se modelos da variação de pixels associados tanto ao primeiro plano como ao plano de fundo. Uma vez que se define o plano de fundo em função de sua lenta velocidade de mudança, aproxima-se um modelo de plano de fundo 64 aplicando-se essencialmente um filtro de baixa frequência temporário às estatísticas associadas ao vídeo de entrada. Constrói-se um modelo de primeiro plano analisando-se as estatísticas de regiões de imagem não suficientemente descritas pelo modelo de plano de fundo. Chama-se este processo de normalização de remoção de plano de fundo. Essencialmente, ele tenta atribuir a cada pixel de uma estrutura de entrada uma probabilidade de que faz parte do primeiro plano (um objeto que se move).

[00033] Em benefício da simplicidade de computação, considera-se de forma independente cada pixel de entrada, e cada pixel, por sua vez, tem um conjunto de canais a ele associado. Modela-se a variação dentro destes canais através de uma distribuição Gaussiana com muitas variáveis. Esta escolha é menos motivada pela ubiquidade da distribuição Gaussiana devido ao Teorema de Limite Central e mais pelo fato de se poder ajustar a distribuição Gaussiana aos dados de entrada simplesmente calculando-se a sua média e a dispersão. A distribuição Gaussiana com muitas variáveis de uma variável x aleatória de dimensão d com média μ e covariância ∑ é como segue:

[00034] De modo frequente, o logaritmo desta distribuição é mais conveniente para a computação: em que ∆ ≡ x - µ

[00035] Representa-se cada pixel por um vetor x de dimensão d de canais de pixel. Atualmente, usam-se quatro canais, a luminância e dois valores de crominância do espaço de cor YUV, assim como a derivada de tempo da luminância. As distribuições condicionais de primeiro plano e plano de fundo de pixels são como seguem: em que Sfg e representam os conjuntos dos possíveis x que correspondem, respectivamente, ao primeiro plano e ao plano de fundo, e {μbg, ∑bg} e {μfg, ∑fg} correspondem à média e à covariância associadas ao primeiro plano e ao plano de fundo, respectivamente. Para manter esta derivada concisa, deve-se omitir os subscritos fg e bg que identificam as duas distribuições nas equações que incluem tanto o primeiro plano como o plano de fundo.

[00036] Em benefício da simplicidade de computação, assume-se a independência dos canais de pixel. Dessa forma, ∑ assume-se diagonal e então as distribuições Gaussianas podem ser expressas como segue em que σ2i corresponde aos elementos diagonais de ∑ e xi e μi são os elementos de um x e μ, respectivamente, para i = 1...d. Devido às probabilidades anteriores para as duas classes, P(x Є Sfg) ≡ yfg, P(x ЄSbg) ≡ ybg,as distribuições condicionais podem ser transformadas em distribuições conjuntas:

[00037] Observe-se que as anteriores estão restritas por meio de yfg + ybg = 1, uma vez que um pixel pertence ou ao primeiro plano ou ao plano de fundo.

[00038] O objetivo final é a probabilidade posterior P(x Є Sfg│x) ≡ zfg (x), a probabilidade de que um determinado pixel faz parte do primeiro plano. Isto é possível calcular de acordo com o teorema de Bayescomo segue:

[00039] Nos termos das formas logarítmicas das distribuições, que melhor representam o método atual de cálculo, ela pode ser expressacomo segue:

[00040] Adaptam-se os parâmetros destas distribuições, {μbg, ∑bg} e {μfg, ∑fg}, sobre o tempo para rastrear a iluminação que muda e mudanças no plano de fundo. Modela-se a média μbg por pixel, contudo, as variâncias ∑fg , ∑bg e a média de primeiro plano μbg são globais e compartilhadas por todos os pixels na imagem. Fez-se esta escolha para manter baixa a complexidade de computação, mas também para manter o cálculo das variâncias mais estável produzindo- se a média da estatística sobre toda a estrutura.

[00041] A figura 13 é um exemplo típico das distribuições associadas a um canal de pixel. A probabilidade posterior é próxima de 1 onde o primeiro plano é dominante, porém diminui a quase 0 onde o plano de fundo é dominante. Atualizam-se gradualmente os parâmetros de modelo de pixel depois de cada estrutura, de modo a rastrear mudanças lentas nas estatísticas causadas pela variação na iluminação global ou por adições ao plano de fundo. Atualizam-se os parâmetros de modelo de forma similar a um filtro IRR de baixa frequência de primeira ordem. Devido aos parâmetros correntes θi definem-se os novos parâmetros θi + 1 como segue: onde λ é a velocidade de adaptação e é o vetor de parâmetros obtidos ajustando-se o modelo aos dados na estrutura atual. As médias de primeiro plano e de plano de fundo e variâncias são aproximadas quando ponderados os primeiro e segundo momentos dos valores de canal de pixel. As ponderações de pixels dependem de suas probabilidades associadas. Emprega-se a probabilidade de primeiro plano no cálculo dos parâmetros de modelo de primeiro plano e a probabilidade de plano de fundo para os parâmetros de plano de fundo. Emprega-se uma velocidade de adaptação muito mais lenta para o cálculo da variância, uma vez que ela requer mais grau de liberdade, e assim torna-se necessário maior quantidade de dados para determiná-la de forma confiável. Adiciona-se uma não linearidade a esta aproximação linear fazendo-se λ dependente das probabilidades de pixel de primeiro plano e de plano de fundo. Isto se faz com a atualização da variância modulando-se λ por meio da fração de pixels de primeiro plano na estrutura atual. Desse modo, as variâncias mudam somente ao ocorrer atividade dentro da estrutura. Isto impede às variâncias de se tornarem artificialmente pequenas durante longos períodos sem atividade. Isto também faz sentido pelo fato de o interesse ser apenas em distinguir o primeiro plano e o plano de fundo nos períodos de atividade dentro da estrutura.

[00042] Uma vez normalizada a entrada de vídeo em uma forma independente do plano de fundo e da iluminação, decompõe-se o vídeo em blocos manipuláveis. Isto se faz reduzindo-se a resolução de imagem do vídeo normalizado em padrões e em seguida segmentando estes padrões no tempo para formar eventos.

[00043] Extraem-se os padrões em 72 para cada estrutura diretamente de sua imagem de probabilidade de primeiro plano. De forma simples, constrói-se o padrão calculando-se a média da probabilidade de primeiro plano dentro das zonas de 24.1. a 24.n da grade ou arranjo que engloba a área. Conforme mostrado nas figuras 2 e 5, a grade tem quatro divisões na direção do fluxo. A quantidade de divisões na direção lateral depende da largura física da região ativa. Mantém-se constante a relação de aspectos de zonas, contudo, iguala-se a sua escala ao tamanho relativo médio de uma pessoa na estrutura. Assim, cada estrutura produz um padrão que pode ser representado por uma matriz cujos elementos correspondem à fração de pixels de primeiro plano em sua zona associada.

[00044] Empilham-se as matrizes de padrão durante o tempo no que se pode imaginar como um tensor tridimensional, sendo como se mostra nas figuras 6 e 11. Em 74 na figura 4, segmenta-se este fluxo de matrizes de padrão no tempo em eventos, correspondendo a períodos de atividade. Desencadeia-se um evento sempre que a soma dos elementos da matriz de padrão exceder a um limite em relação a um pequeno conjunto de estruturas consecutivas. Ao contrário, encerra-se um evento quando a soma cair abaixo do limite em relação a um conjunto de estruturas consecutivas. A representação na figura 11 retrata cada zona como um cubo com o tamanho proporcional ao valor da zona. Para visualizar de forma compacta estes eventos torna- se útil nivelar a estrutura tridimensional ao longo da direção de fluxo para formar uma matriz, conforme ilustrado na figura 7, que pode ser representado de forma conveniente como uma imagem bidimensional, como nos casos das figuras 8, 9 e 12. Voltando novamente à figura 4, em uma tentativa para compactar padrões de eventos no tempo e até certo ponto normalizar o evento com relação à velocidade do objeto, aplica-se aos eventos em 76 uma aproximação análoga à Codificação de Extensão de Execução (RLE). O processo se inicia com o padrão da primeira estrutura como um protótipo. As estruturas são então comparadas ao protótipo em sucessão e se a estrutura não está bem representada pelo protótipo (isto é, a diferença é grande) ela em seguida se torna o novo protótipo. Este processo continua até se alcançar o fim do evento. Constrói-se o evento normalizado calculando-se a média dos intervalos entre as mudanças de protótipo em padrões únicos. Registra-se também o comprimento de cada distância, sendo anexada sobre cada vetor de protótipo de modo a não se perder a sincronização original.

[00045] Emprega-se uma medida de distância de quadrados médios para comparar padrões em que p são vetores de colunas que representam padrões e c é uma constante de regularização positiva pequena a fim de impedir a divisão por zero. Em benefício da clareza, a este respeito devem ser considerados normalizados quaisquer eventos mencionados no restante desta descrição.

[00046] A extração de configuração em 80 na figura 4 geralmente envolve projetar algum espaço de entrada usualmente de alta dimensão associado a uma disposição de sensor de entrada 20 a um espaço de parâmetro dimensional baixo associado a um modelo dos objetos de interesse. Neste caso, a extração de configuração relaciona-se à projeção de um padrão de evento de comprimento variável em um vetor característico de comprimento fixo distinto.

[00047] Além disso, decompõem-se os eventos em regiões que correspondem aos subeventos de nível mais baixo comuns, tal como uma única pessoa, duas pessoas próximas uma à outra, ou uma pessoa com um carrinho de bagagem. Para assim fazer, constrói-se um modelo 82 de tais subeventos. Os modelos lineares proporcionam a opção mais simples para isto, uma vez que existem soluções de forma fechada para a sua construção, tais como a Análise de Componente de Princípio (PCA) e a Análise Discriminante Linear (LDA). Embora esses métodos produzam modelos que representam os subeventos de forma distinta e compacta, eles não proporcionam um método direto para classificá-los. Para tanto, usa-se o Modelo de Mistura Gaussiana (GMM) para dividir o subespaço produzido pela PCA e LDA em classes. O modelo de subevento consiste em dois modelos relacionados, um modelo de busca simples usado para encontrar de forma eficaz (em 84 na figura 4) subeventos dentro de um evento, e um modelo de classificação mais complexo empregado para classificá-los de forma provisória ou fraca em 86. Estes dois modelos consistem em uma base linear construída empregando a LDA e o GMM definidos no subespaço englobado pela base. Os subeventos englobam uma janela de tamanho fixo dentro do evento maior. Emprega-se, neste caso, uma janela de 6 x 4 x 16. Se a janela se estender além das dimensões do evento, os zeros são substituídos pelo exterior dos elementos de limite. Aumenta-se a localização lateral relativa da janela assim como o conjunto de distâncias gerado pela compressão de RLE que correspondem às estruturas de janelas para os dados de subeventos extraídos de dentro da janela.

[00048] Como consta acima, emprega-se um modelo simples de subevento para encontrar de forma eficaz, em 84, subeventos válidos dentro de um evento. Este modelo simples tenta distinguir entre três classes: Interna - subeventos que estão na média na direção para dentro conforme ilustrado em A na figura 2; Externa - subeventos que estão em média na direção para fora, conforme ilustrado em B na figura 2; e Nula - regiões do evento que não correspondem às pessoas que se movimentam Mostram-se na tabela que segue os exemplos de cada uma das classes quando projetadas de volta dentro do espaço de evento: Tabela 1: Classes de Subeventos Simples

[00049] Representa-se na figura 14 o GMM empregado para distinguir estas classes dentro do subespaço de LDM. No gráfico, as linhas correspondem às linhas de isoprobabilidades dos componentes Gaussianos individuais. Observe-se que os componentes Gaussianos têm matrizes de covariância irrestrita, assim as linhas de isoprobabilidades se associam a elipsoides. A imagem de plano de fundo no gráfico representa os limites de decisão flexíveis gerados pela probabilidade posterior das classes

[00050] Encontram-se os subeventos em 84 buscando-se exaustivamente o evento no tempo e ao longo do movimento de direção lateral. Desliza-se uma janela tridimensional, o tamanho do modelo de subevento, sobre o evento, classificando cada ponto ou no centro de subeventos de interior, de exterior, ou nulos. Isto produz um par de imagens de busca bidimensionais conforme se mostra na figura 15, que correspondem às direções para dentro e para fora. Estas imagens são adicionadas juntas e tornadas planas para produzir uma imagem com máximos bem definidos conforme se mostra na figura 16. São esses máximos que definem os centros dos subeventos. Indicam- se os máximos na figura 16 por pixels negros 100 nos centros das bolhas. Usam-se as imagens internas e externas novamente mais tarde no cálculo da configuração.

[00051] Uma vez encontrados os centros de subeventos conforme anteriormente mencionado, eles precisam ser fracamente classificados em 86 na figura 4. Isto se faz com um modelo de classificação de subevento mais elaborado. Ele é mais caro do ponto de vista computacional, além de mais discriminativo, sendo aplicado somente a subeventos já encontrados, mas não no evento como um todo. Este modelo usa uma base de cinco dimensões.

[00052] Distinguem-se doze classes de subeventos por intermédio deste modelo. Estas classes estão sumarizadas na seguinte tabela: Tabela 2: Classes de Subeventos

[00053] Como o modelo simples, modela-se cada classe como um componente Gaussiano com covariância irrestrita. A figura 17 mostra as primeiras quatro dimensões do modelo de subevento.

[00054] Os x na figura 17 organizam os subeventos encontrados no exemplo de evento na figura 15, com cada quadrado marcado de acordo com uma versão arredondada de sua classificação do modelo de subevento. Mostra-se na figura 18 a correspondente aparência destes subeventos no espaço de evento, além de suas classificações.

[00055] A classificação de modelo de subevento parece ter funcionado muito bem neste caso particular, quando a contagem atual para o evento como um todo é de 4 a 2. Classifica-se cada subevento um após o outro, cada um produzindo um vetor de probabilidades posteriores em que o elemento "i" corresponde à probabilidade de o subevento representar a classe "i". Somam-se esses vetores sobre todos os subeventos a fim de produzir um vetor z que forma a parte do vetor característico final. Os componentes de z correspondem aproximadamente à quantidade de subeventos de cada classe dentro do evento. Se dois subeventos são encontrados próximos um do outro com uma superposição apreciável em suas janelas associadas, cresce a possibilidade de a informação de superposição estar contada duas vezes, uma vez para cada subevento. Para reduzir isto depois de se classificar cada subevento, projeta-se de volta o resultado dentro do espaço de evento, sendo subtraído do evento original que efetivamente marca essa parte do evento como contado. A figura 19 mostra o evento original e o que resta depois da remoção sucessiva dos subeventos.

[00056] A construção do modelo de subevento exige que sejam conhecidas as localizações e as marcas dos subeventos dentro dos dados de treinamento. Contudo, estes dados não estão disponíveis, uma vez que os dados de treinamento não sendo segmentados abaixo do nível de subevento há somente uma única marca por evento. Assim, emprega-se uma aproximação interativa para construir o modelo de subevento. O processo começa com um modelo inicial construído na suposição de um único subevento por evento, centrado no centroide do evento. Ao se empregar este modelo aproximado, encontra-se e se classifica um novo conjunto de subeventos a partir do qual é possível recalcular o modelo e assim o processo continua até o modelo convergir.

[00057] O vetor característico f consiste em um conjunto de estatísticas agregadas sobre todo o evento. A estrutura do vetor característico é a que segue: em que: te Duração do evento em estruturas tc Extensão do evento comprimido min Momentos da imagem de busca para dentro mout Momentos de imagem de busca para fora s A soma dos valores máximos que correspondem aos centros de subeventos z O vetor de classificação de subevento total

[00058] Os vetores de momento min e mout são compostos pelos momentos de grau 0 e de segundo grau das imagens de busca para dentro e para fora, ilustrados na figura 5. Cada vetor de momento tem quatro dimensões da forma que se segue em que se fx,1 representa um elemento de imagem na posição lateral x e tempo t

[00059] O vetor de classificação de subevento tem doze dimensões, uma vez que existem doze classes de subeventos, os vetores de momento contribuem cada um com quatro componentes, e ocorrem três escalares, e assim o vetor característico final tem vinte e três dimensões.

[00060] Voltando novamente à figura 4, o objetivo de classificação em 90 é extrair as contagens finais de "para dentro" e "para fora" de cada vetor característico. Torna-se necessário construir um mapeamento entre vetores característicos, assim como se torna necessário construir contagens, o que constitui um problema de regressão. Emprega-se uma rede neural artificial 92 para executar este mapeamento. A rede neural aprende este mapeamento a partir de um grande conjunto de eventos marcados otimizando-se o erro de regressão. Emprega-se uma Percepção de Multicamadas Padrão (MLP), com uma simples camada oculta que usa funções de ativação de sigmoide e uma camada de saída com uma ativação linear para regressão.

[00061] O treinamento da MLP é em essência um problema de otimização, reduzindo o erro de saída em relação aos pesos de borda, sendo para isto empregado um algoritmo de descida de gradiente conjugado. Os dados de treinamento tomam a forma de um conjunto de vetores característicos e correspondem a marcas de contagem. Contudo, antes do treinamento, as características são embranquecidas, normalizando o espaço de característica para a covariância de unidade, assim aperfeiçoando a chance de convergência a um mínimo absoluto. Incorporam-se as projeções de normalização de volta dentro dos primeiros pesos de camada da rede neural depois de treinadas.

[00062] Deve-se compreender que é possível empregar a saída da rede neural para contar pessoas que se movem através da região e em qualquer uma da direção A e da direção B mostradas na figura 2.

Claims (6)

1. Aparelho (10) para monitorar o movimento de objetos ao longo do tempo (26) através de uma região de monitoramento (12), o aparelho (10) compreendendo: uma disposição de sensor (20) sensível à presença ou à ausência de um objeto (26) em cada zona de uma pluralidade de zonas adjacentes (24.1 a 24.n) na região de forma individual; a pluralidade de zonas adjacentes (24.1 a 24.n) sendo dispostas na região em duas dimensões de modo que exista pelo menos duas fileiras adjacentes de zonas (24.1 a 24.n) se estendendo ao longo de um primeiro eixo da região de monitoramento (12) em uma primeira direção e pelo menos duas fileiras adjacentes de zonas (24.1 a 24.n) se estendendo ao longo de um segundo eixo da região de monitoramento em uma direção perpendicular à primeira direção; cada zona (24.1 a 24.n) sendo associada a um respectivo índice de zona; a disposição de sensor (20) sendo operante para capturar representações sequenciais no tempo consecutivas de objetos (26) se movendo através da região (12) compreendendo dados detectados relacionados à presença ou à ausência dos objetos (26) em cada uma das zonas (24.1 a 24.n); as representações sequenciais no tempo consecutivas compreendendo matrizes de padrão bidimensional respectivas, em que cada matriz de padrão compreende uma pluralidade de elementos de matriz de padrão, em que cada elemento de matriz de padrão corresponde a uma respectiva das ditas zonas na região de monitoramento (12) respectiva e em que cada elemento de matriz de padrão de cada matriz de padrão compreende os dados detectados relacionados à presença ou ausência no momento da respectiva representação de pelo menos um objeto (26) na zona correspondente (24.1 a 24.n); caracterizado pelo fato de que uma disposição de processador (22) conectada à disposição de sensor (20) e para gravar as ditas matrizes de padrão bidimensional das ditas representações sequenciais ne tempo consecutivas e para processar os dados detectados dos elementos de matriz de padrão em um padrão multidimensional representando a presença ou a ausência do pelo menos um objeto (26) nas zonas (24.1 a 24.n) conforme este se movimenta através da região de monitoramento (12), em que uma primeira dimensão do padrão multidimensional é o tempo ao longo de um eixo geométrico de tempo, e uma segunda dimensão é o índice de zona ao longo de um eixo geométrico de índice de zona, em que todos os elementos da matriz de padrão de cada matriz de padrão bidimensional de cada uma das ditas representações sequenciais no tempo consecutivas são dispostos em uma fileira única respectiva ao longo do eixo geométrico do índice de zona do padrão multidimensional e em relação sequencial no tempo em contraste com o eixo geométrico de tempo, de modo que o padrão multidimensional compreende uma pluralidade de eventos sequenciais no tempo e em que um evento começa quando a soma dos dados detectados dos elementos de matriz de padrão sobre um número predeterminado das ditas representações sequenciais no tempo consecutivas excede um valor limite e termina quando a soma dos dados detectados dos elementos da matriz de padrão sobre um número predeterminado das ditas representações sequenciais no tempo consecutivas cai abaixo do valor limite; a disposição de processador (22) sendo configurada para segmentar o padrão multidimensional ao longo do eixo geométrico de tempo em partes-padrão relacionadas a respectivos eventos sequenciais no tempo; e um classificador para classificar posteriormente as partes- padrão em uma classe respectiva de uma pluralidade de classes com referência a dados históricos de referência relacionados a eventos antecipados.

2. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a disposição de sensor (20) compreende pelo menos uma câmera, que é montada em cima da região de monitoramento (12).

3. Aparelho, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que a disposição de sensor compreende um par estéreo de câmeras que cobre a região de ângulos diferentes.

4. Aparelho, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que a pluralidade de zonas (24.1 a 24.n) forma um arranjo de zonas imediatamente adjacentes, em que cada zona possui uma primeira dimensão ao logo do primeiro eixo geométrico, uma segunda dimensão ao longo do segundo eixo geométrico, e uma área.

5. Aparelho, de acordo com a reivindicação 4, caracterizado pelo fato de que os dados detectados compreendem um parâmetro proporcional a uma parte da área da zona (24.1 a 24.n) sendo ocupada pelo objeto (26).

6. Método para monitorar o movimento de objetos (26) através de uma região de monitoramento (12), o método caracterizado pelo fato de que compreende as etapas de: dividir a região de monitoramento (12) em uma pluralidade de zonas adjacentes (24.1 a 24.n), cada zona (24.1 a 24.n) sendo associada a um índice de zona; dispor a pluralidade de zonas na região de monitoramento (12) em duas dimensões de modo que exista pelo menos duas fileiras adjacentes de zonas (24.1 a 24.n) se estendendo ao longo do primeiro eixo da região de monitoramento (12) em uma primeira direção e pelo menos duas fileiras de zonas adjacentes se estendendo ao longo do segundo eixo da região de monitoramento (12) em uma direção perpendicular à primeira direção; utilizar uma disposição de sensor (20) de forma automática e sequencial no tempo para detectar a presença ou a ausência de objetos (26) em cada uma das zonas (24.1 a 24.n) de forma individual e para capturar representações sequenciais no tempo consecutivas de pelo menos um objeto conforme este se move através da região de monitoramento (12), as representações sequenciais no tempo consecutivas compreendendo respectivas matrizes de padrão bidimensional, em que cada matriz de padrão compreende uma pluralidade de elementos de matriz, em que cada elemento de matriz de padrão corresponde a uma respectiva das zonas na região de monitoramento (12) e em que cada elemento da matriz de padrão de cada matriz de padrão compreende dados detectados relacionados à presença ou ausência no momento da respectiva representação do pelo menos um objeto (26) na zona correspondente (24.1 a 24.n); gravar as ditas matrizes de padrão bidimensional das ditas representações sequenciais de tempo consecutivas e gerar dados relacionados a um padrão multidimensional da presença ou da ausência de objetos (26) nas zonas (24.1 a 24.n); processar os dados detectados dos elementos da matriz de padrão em um padrão multidimensional representando a presença ou ausência do dito pelo menos um objeto nas zonas conforme estes se movem através da região de monitoramento (12) em que uma primeira dimensão é o tempo ao longo do eixo geométrico de tempo, e uma segunda dimensão é o índice de zona ao longo do eixo geométrico de índice de zona, e em que todos os elementos da matriz de padrão de cada matriz de padrão bidimensional de cada uma das ditas representações sequenciais de tempo consecutivas são rearranjadas em uma única fileira respectiva ao longo do eixo geométrico do índice de zona do padrão multidimensional e em relação sequencial no tempo em contraste com o eixo geométrico de tempo de modo que o padrão multidimensional compreenda uma pluralidade de eventos sequenciais no tempo e em que um evento começa quando a soma dos dados detectados dos elementos da matriz de padrão sobre um número predeterminado das ditas representações sequenciais no tempo consecutivas exceda um valor limite e termina quando a soma dos dados detectados dos elementos da matriz de padrão sobre um número predeterminado das ditas representações sequenciais no tempo consecutivas cai abaixo do valor limite; segmentar o padrão multidimensional ao longo do eixo geométrico do tempo em partes-padrão relacionadas a respectivos eventos sequenciais no tempo; e classificar as partes-padrão em uma classe respectiva de uma pluralidade de classes com referência a dados históricos de referência relacionados a eventos antecipados.