BRPI0621897A2 - sistema de vigiláncia de vìdeo e método com reconhecimento de áudio e vìdeo combinado - Google Patents

Abstract

SISTEMA DE VIGILANCIA DE VIDEO E METODO COM RECONHECIMENTO DE AUDIO E VIDEO COME INADO. A presente invenção, de modo geral, refere-se a sistemas de vigilância e métodos para proporcionar segurança e, mais particularmente, a um novo sistema de reconhecimento de video e áudio on-line (tempo real) e processo para sistemas de vigilância.

Description

Relatório Descritivo da Patente de Invenção para: "SISTEMADE VIGILÂNCIA DE VIDEO E MÉTODO COM RECONHECIMENTO DE AUDIOE VIDEO COMBINADO".

Fundamentos Da Invenção

Campo da Invenção

A presente invenção, de modo geral, refere-se asistemas de vigilância e métodos para proporcionarsegurança e, mais particularmente, a um novo sistema dereconhecimento de video e áudio on-line (tempo real) eprocesso para sistemas de vigilância.

Descrição da Técnica Anterior

Os sistemas de vigilância de video convencionaisnormalmente não incluem qualquer funcionalidade oudisposição para monitoração de áudio, ou seja, sistemas devigilância não incluem entradas de áudio em tudo. Na melhordas hipóteses, os sistemas de vigilância de video típicos,como descrito no documento de Patente n2 6,724,421 e6,175,382 fornece a gravação simultânea de informaçõesvisuais e de áudio. Em ambos os tipos de sistemas de vídeovigilância descritos nestas referências, os dados de vídeoestão sendo analisados pelos mecanismos de vigilânciainteligente e são compactados para armazenamento digital.Estes mecanismos implementam vários algoritmos dereconhecimento, como reconhecimento facial, detecção demovimento, detecção de pânico, detecção de movimento deesfaqueamento etc. Uma situação alarmante, por exemplo,quando do acompanhamento de uma entrada de um edifícioalto, envolve um movimento rápido repentino de uma pessoaem direção à outra, o que implica em um roubo potencial,bateria, ou atividade similar. Um mecanismo de vigilânciainteligente, neste caso, reconhece (com algum nível desucesso que é inferior a 100%), movimentos rápidos erepentinos e gerar um alarme na central de monitoramento.

As forças policiais podem ser despachadas para o localmonitorado, como conseqüência de um tal alarme. Obviamente,o movimento rápido súbito poderia ter sido gerado por umacriança correndo em direção a seu pai/ amigo e, neste caso,o alarme gerado torna-se um alarme falso, que fará umaexpedição cara da força policial. Outro resultado da mádetecção inteligente do mecanismo de vigilância é aausência de geração de alarmes em caso de uma emergênciareal. Este caso pode ocorrer, por exemplo, quando houvermais de uma pessoa na cena do crime. Não enviar umaforça policial, quando a situação de emergência estáocorrendo de verdade é ainda outro inconveniente dossistemas de vigilância em curso.

O sistema de vídeo vigilância somente da técnicaanterior só mostrado na Figura 1. Uma matriz de câmara 100alimenta informações de vídeo em um mecanismo de compressãode vídeo 12 através do link de vídeo 11. A informação devídeo é comprimida e enviada através de conexão 16 para umdispositivo de armazenamento 14 para um armazenamento delongo prazo. A informação de vídeo é adicionalmentealimentada no mecanismo de reconhecimento de vídeo 13,através do mesmo link de vídeo 11. 0 mecanismo dereconhecimento de vídeo 13 executa tarefas dereconhecimento de vídeo, como reconhecimento facial,detecção de movimento e outros, e gera os eventos e alarmesque são enviados através do link 17 a uma base de dados deeventos 15 e a estação de monitoramento 18. A estação demonitoramento 18 de pode inclui uma estação demonitoramento tripulada através do qual um operador realizamonitoramento visual em tempo real de uma determinadaquantidade de câmeras. Quando uma situação de emergênciaocorre, tal como interpretada pelo operador, é sua decisãose deve ou não enviar uma força policial ou equipe deresposta a outra de emergência para a área monitorada. Éevidente a partir da descrição acima que não há utilizaçãode informações de áudio, embora essas informações, muitasvezes, estejam disponíveis na área monitorada.

0 sistema de vídeo vigilância da técnica anterior comgravação de áudio é mostrado na Figura 2. A matriz decâmera 20 alimenta informações de vídeo no vídeo e omecanismo de compressão de áudio 22 através do link devídeo 21. Simultaneamente, a informação de áudio éalimentada a partir da matriz de microfone 29 e através dolink de áudio 30 para o mecanismo de compressão de vídeo eáudio 22. A informação de vídeo e áudio é comprimida eenviada através do link 26 para um dispositivo dearmazenamento 24 para um armazenamento de longo prazo. Ainformação vídeo é igualmente alimentada com o mecanismo dereconhecimento de vídeo 23 através do mesmo link de vídeo21. O mecanismo de reconhecimento de vídeo 23 executatarefas de reconhecimento de vídeo, como reconhecimentofacial, detecção de movimento e outros, e gera os eventos ealarmes que são enviados através do link 27 para um bancode dados 25 e estação de monitoramento 28. A estação demonitoramento 28 é uma estação de monitoramento tripuladaatravés da qual um operador realiza o acompanhamento visualde uma determinada quantidade de câmeras. Quando umasituação de emergência ocorre, tal como interpretada pelooperador, é sua decisão se deve ou não enviar uma forçapolicial ou outras respostas da equipe de emergência para aárea monitorada. É evidente a partir da descrição acima quenão há extração de informações úteis a partir das entradasde áudio, apesar de tais informações, muitas vezes, estaremdisponíveis em sinais de áudio obtidos na área monitorada.

Como descrito acima, um segundo tipo de sistema devigilância, ao mesmo tempo, registra informações de áudio evídeo, bem como implementa mecanismos de vigilânciainteligente para várias tarefas de reconhecimento de vídeo.Hoje, nesses sistemas, as informações de áudio sãocompactadas e gravadas sem serem analisadas.

Os sistemas de vigilância atuais simplesmente nãoutilizam informações de áudio bastante preciosas quando seanalisa a entrada de vídeo. Obviamente, essa informação deáudio está disponível e em muitos cenários de vigilânciapodem ser usadas muito amplamente.

Assim, seria altamente desejável incorporar o uso deinformações de áudio em sistemas de vídeo vigilância com aexpectativa de que o uso de informações de áudio irádiminuir o número de falsos alarmes gerados pelo sistema devigilância, bem como aumentar o percentual de alarmesverdadeiros detectados, enquanto, ao mesmo tempo, fornecemais informações para a pessoa avaliar um alarme. Alémdisso, alguns eventos podem ser detectados através deinformações de áudio e vídeo em oposição a tais eventosserem detectados usando as informações de vídeo apenas.

Sumário da InvençãoÉ, portanto, um objetivo da presente invenção fornecerum sistema de vídeo vigilância e um método que incorpora ouso de informações de vídeo juntamente com a informação deáudio obtida a partir da área sob vigilância.

0 sistema de vigilância da invenção inclui entradas desinal de vídeo e áudio. Entradas de vídeo são provenientesde câmeras digitais ou analógicas e entradas de áudio sãorecebidas de microfones instalados em uma área monitorada.Informação de vídeo e áudio é comprimida e enviada para umdispositivo de armazenamento digital. A compressão do vídeoe informação de áudio é o preferida para salvar espaço dearmazenamento digital necessário para todas as câmaras e osmicrofones implementados.

Em simultâneo com a gravação, as entradas de áudio evídeo são alimentadas em um mecanismo de reconhecimentointeligente que realiza o reconhecimento de vídeo, oreconhecimento de áudio e executa correlação instantâneados resultados de reconhecimento de áudio / de vídeo para adetecção / reconhecimento de um conjunto específico deeventos, indicativo de uma situação de pânico, por exemplo,vozes gritando em tom alto, explosões, tiros, etc. Alarmesgerados pelo mecanismo de reconhecimento inteligente podemser enviados para uma estação de monitoramento, onde umoperador humano decide se enviará uma equipe de emergênciaou a policia para uma área monitorada.

De acordo com um aspecto da invenção, o mecanismo dereconhecimento inteligente executa algoritmos dereconhecimento de video disponíveis, tais comoreconhecimento facial, detecção de movimento, etc, bem comoalgoritmos de reconhecimento de áudio / de voz parareconhecimento de fala de um vocabulário específico("ajuda", "roubo" etc.) O mecanismo de reconhecimento deáudio pode ser treinado para reconhecer sinais de áudioespeciais, tais como tiros, explosões, etc, bem como vozalta e outras assinaturas de voz indicativas de um alarmeou situação de emergência.

Usando matrizes de microfones colocados nasorientações, nomeadamente, indicações de sons podem serdeterminadas. As informações de áudio direcional podem,então, ser emitidas para uma unidade de controle da câmera,para dirigir uma câmera / câmeras na direção de interesse.

Além disso, o reconhecimento de vídeo / áudio pode serrealizado com maior eficiência. Assim, por exemplo, um somde explosão pode ser detectado pelo mecanismo dereconhecimento de áudio usando uma matriz de microfones emuma área monitorada. Como conseqüência, as câmeras serãodirecionadas em direção à explosão e ações deacompanhamento ocorrerão no mecanismo de reconhecimento devideo - a partir de alarmante da estação de monitoramentoaté a cena do reconhecimento / compreensão. 0 usoinstantâneo dos resultados de reconhecimento de vídeo eáudio para dirigir a avaliação adicional do áudio gravado evídeo, e para direcionar a gravação melhorada de novosvídeos e entradas de áudio, com vantagem, melhorando aprecisão da detecção, reduz o tempo necessário paradeterminar a natureza de um alarme, e fornece maisinformações a um operador humano que avalia a situação.

As saídas do mecanismo de reconhecimento de vídeo e domecanismo de reconhecimento áudio são analisadas pelomecanismo de reconhecimento mútuo e, como conseqüência,alarmes finais são gerados e transmitidos para a central demonitoramento.

Para manter estes e outros objetivos, de acordo com umaspecto preferido da invenção, é fornecido um sistema devigilância e método e o produto programa de computador, emque o sistema compreende: meio para gerar, em tempo real,sinais de vídeo compreendendo informação de vídeo tomadasde uma zona sob vigilância; meio para a obtenção, em temporeal, de sinais de áudio com informações de áudio a partirda área sob vigilância, meio para simultaneamente receberos sinais de vídeo e os sinais de áudio, determinando a sinformações de reconhecimento de áudio e video relevantesdos mesmos, e mutuamente correlacionar a informação emtempo real de áudio e video para determinar a probabilidadede ocorrência de um evento particular, e,meio para geraruma condição de alarme baseado na ocorrência do eventoparticular.

Breve Descrição dos Desenhos

Outras características, aspectos e as vantagens dasestruturas e métodos da presente invenção serão melhorcompreendidas com relação à descrição que se segue,reivindicações anexas e os desenhos anexos, em que:

A figura 1 ilustra um sistema de vigilância de vídeosomente de acordo com a técnica anterior.

A figura 2 ilustra um sistema de vigilância de vídeocom capacidade de gravação de áudio de acordo com a técnicaanterior.

Figura 3 mostra um sistema de vigilância de vídeo comreconhecimento de vídeo e áudio de acordo com a invenção.

A Figura 4 mostra detalhes do mecanismo deReconhecimento inteligente de acordo com a invenção.

Descrição Detalhada das Modalidades Preferidas

A Figura 3 mostra um sistema de vigilância de vídeocom reconhecimento vídeo e de áudio de acordo com ainvenção. Conforme mostrado na Figura 3, a matriz de câmara40 que inclui ainda uma ou mais câmaras de videoeletrônicas ou estáticas, por exemplo, câmeras CCD ou CMOS,em cores ou em preto e branco ou com uma combinaçãoequivalente de componentes que capturam uma área sobvigilância alimenta sinais de vídeo em um mecanismo decompressão de áudio e vídeo digital 42 através de um linkde comunicação de vídeo 41. O movimento e funcionamento decada dispositivo da câmera da matriz câmera 40 pode sercontrolado por sinais de controle recebidos, por exemplo,sob controle de computador e / ou software. Além disso, osparâmetros operacionais de cada câmera na matriz decâmera40, incluindo espelho de pan / tilt, sistema delentes, mecanismo de foco, mecanismo de pan, e controle demecanismo de inclinação são controlados por sinais decontrole recebidos, como será explicado em mais detalhesaqui. Antes de liberar os sinais de vídeo digitais, muitastécnicas de processamento de sinais podem ser aplicadaspara reduzir o ruído ou fornecer técnicas de filtragem/aprimoramento de imagem, por exemplo.

Ao mesmo tempo, um microfone 49 compreendendodispositivos sensor microfone (omnidirecional e / oumicrofones altamente direcionais) que podem converter apressão acústica em sinais elétricos são fornecidos paraalimentar as informações de áudio para o mecanismo decompressão de video digital e áudio 42através do link decomunicações de áudio 50. Como é conhecido por pessoasqualificadas, um nivel de diretividade da matriz demicrofones varia com relação às freqüências de som para queo número de microfones e a distância entre os microfonespode ser determinada levando em consideração uma gama defreqüências necessárias para poder fornecer qualquer graude diretividade. Os microfones implementados na matriz podemser controlados, sob controle do software, por exemplo,para realizar esses fins, e incluem transdutoresconfigurados para ter um padrão de pick-up que podem serclaramente polarizado para diferentes recepções defreqüência, por exemplo, no intervalo do discurso humano,explosões, tiros, etc. Deste modo, a matriz de microfone éassegurada para ser receptiva para responder a um campo desom do evento acústico com um alto grau deprecisão. Outras técnicas de condicionamento de sinal deáudio podem ser aplicadas para a digitalização de sinais deáudio analógicos obtidos utilizando um conversor A / D, porexemplo, e para proporcionar controle de ganho, redução /filtragem de ruido, por exemplo. Informações de video e deáudio digital digitalizadas são comprimidas e enviadasatravés de link 46 a um dispositivo de armazenamento dememória 44para armazenamento de longo prazo, por exemplo,um banco de dados, uma unidade de disco rígido, mídiasmagnéticas ou ópticas, incluindo, mas não limitados a: umCD- ROM, DVD, fita, platter, matriz de disco, ou algoparecido. A saída de cada câmara da matriz câmera 40 éarmazenada na mídia de armazenamento em um formatocompactado, como MPEGl, MPEG2, etc. Além disso, a saída decada câmara da matriz pode ser armazenada em um localespecial no meio de armazenamento associado com essacâmera, ou é armazenado com uma indicação para qual câmeracada saída armazenada corresponde.

Como ainda mostrado na Figura 3, as mesmas informaçõesvídeo e informações de áudio são, ao mesmo tempo,adicionalmente alimentadas em um mecanismo dereconhecimento inteligente 43 através dos respectivos linkde vídeo 41 e link de áudio 50. Entende-se que as ligaçõesde comunicação 41 e 50 entre a respectiva matriz de câmarae matriz de microfone de áudio e mecanismo de compressão devídeo e áudio 42 e mecanismo de reconhecimento inteligente43 pode ser cabeado, ou um link sem fios pode serempregado. Além disso, está no escopo da presente invençãoestas ligações de comunicação assumirem a forma de cabo,satélite, RF, transmissão de microondas, fibras ópticas esimilares.Como será descrito em mais detalhes aqui, como aindarepresentado na Figura 4, o mecanismo de reconhecimentointeligente 4 3 compreende um mecanismo de reconhecimento devideo 62, mecanismo de reconhecimento de áudio 63, ummecanismo de reconhecimento mútuo e um módulo de geração dealarmes 64. 0 mecanismo de reconhecimento inteligente 43implementa software para controlar um dispositivo decomputador para executar os métodos e processos para aexecução de algoritmos de reconhecimento de video ealgoritmos de reconhecimento facial. Estes podem serexecutados com e em conjunto com algoritmos de detecção demovimento (por exemplo, a correlação de patch conhecidos oualgoritmos de rastreamento que monitora pontos individuais)para estimar o movimento das características no fluxo deimagens), etc O mecanismo de reconhecimento inteligente 43adicionalmente implementa software para controlar umdispositivo de computador para executar os métodos eprocessos para a execução de reconhecimento de áudio ealgoritmos de reconhecimento de fala. Algoritmos dereconhecimento de fala implementados como instruçõeslegíveis por computador, estruturas de dados, módulos deprograma, etc, podem ser utilizados para o reconhecimentode palavras particulares que podem ser potencialmenteindicativas de uma situação de emergência ou situação dignade alarme ("Ajuda", "roubo", etc.)

Um mecanismo de reconhecimento de áudio 63, que incluiinstruções legíveis por computador, estruturas de dadosmódulos, programas ou outros dados, pode ser treinado parareconhecer sinais de áudio especiais, como tiros,explosões, etc, bem como sons de alta intensidade, porexemplo, gritos, berros e outros sons e assinaturas de vozassociadas com alarme potencial conhecido por provocareventos. Entende-se, contudo, que diversos algoritmos dereconhecimento podem ser empregados de acordo com ainvenção, que não requerem treinamento prévio.

O dispositivos de computação (s) executado inclui umdispositivo computador de uso geral, como um computadorpessoal, dispositivo portátil, celular e similares, tendocomponentes, incluindo, mas não limitado a uma unidade deprocessamento, memória de sistema e barramento de sistemaque acopla diferentes componentes do sistema, incluindo amemória do sistema à unidade de processamento. Odispositivo que implementa estes componentes de computadorpara executar o mecanismo de reconhecimento inteligente e omecanismo de reconhecimento de áudio que são armazenados emuma mídia legível por computador bem conhecidacompreendendo todos os meios disponíveis que podem seracessados pelo dispositivo de computador, incluindo tantoremovíveis, como não removíveis, voláteis e meios decomunicação não-voláteis. A gravação legível por computadorpode ser centralizada em um único local ou descentralizadasobre sistemas de computadores conectados via rede, porexemplo, algoritmos de reconhecimento legível pelocomputador podem ser armazenados em meio de gravaçãolegível em computador e serem executados de formadescentralizada.

Retornando para a figura 3, usando a matriz demicrofones 49 em orientações específicas, a direção dossons são determináveis. As informações direcionais sobre umevento de áudio detectado é entregue ao módulo de controledo microfone/ câmera 52 através de um link de comunicaçãocom ou sem fio 53. O módulo de controle de câmera /microfone 52 inclui todo o software necessário paraimplementar o mecanismo de controle de posição para dirigircâmera / câmeras da matriz 40 e controlar as posições domicrofone 49 na direção de interesse por meio de sinais decontrole 54. Por exemplo, os sinais de controle podem serinseridos na matriz de câmera 40 para ajustar ou controlaros espelhos da câmera de controle pan / tilt, sistema delentes (s), mecanismo de foco, mecanismo de pan, ecomponentes de mecanismos inclinação e sub-sistemas. Essessinais de controle são utilizados adicionalmente paradirecionar automaticamente o campo de visão visto pelascâmeras, a fim de obter uma melhor imagem centrada ou, maisampliada, ou mais focada ou resolvida com mais informaçõessobre o alarme real ou evento de alarme. Em um exemplo nãolimitante, em resposta ao reconhecimento de áudio de umsinal de áudio de tiro pelo mecanismo de reconhecimentointeligente, sinais de controle podem ser gerados quedirecionam ou mais câmeras da matriz de câmera para a cenapara "olhar" na direção do tiro. Se a matriz de câmera devideo é dirigida para o local de um crime de reconhecimentode áudio do tiro, então, o reconhecimento do evento crimeserá melhor desligado, porque mais informações sobre a armadisparada estará disponível. Como alternativa, ou alémdisso, esses sinais de controle podem ser gerados sãoutilizados para ajustar automaticamente a orientação dosmicrofones e a distância entre os microfones para melhorreceber as informações de acompanhamento de áudio. Aorientação dos microfones poderá ainda ser ajustada emfunção da detecção de sinais de áudio de uma faixa defreqüência exigida, ou para prestar qualquer grau dediretividade. Assim, por exemplo, um ou mais microfonespodem ser redirecionados para "ouvir" a partir de umadeterminada direção em resposta a um evento dereconhecimento de vídeo.

Mais especificamente, como mostrado na figura 4, osresultados do mecanismo de reconhecimento de vídeo 62 emecanismo de reconhecimento de áudio 63 são analisados pelomecanismo de reconhecimento mútuo 64 para o processamentodo vídeo recebido em simultâneo e informação sobre oreconhecimento de áudio e, finalmente, determinar se umacondição de alarme existe. Desta forma, os alarmes podemser gerados que são encaminhados para a estação demonitoramento 48 tripulada através do link de comunicações47. Ou seja, o reconhecimento de processos empregado comoinstruções legíveis por computador, estruturas de dados, osmódulos do programa, etc utilizados no mecanismo dereconhecimento mútuo 64 são geralmente baseados em umacombinação de padrões e / ou avaliação de hipóteses.Durante uma fase de avaliação, é determinada uma estimativadas probabilidades de vários eventos. Isto pode ser feitoatravés da determinação da informação em tempo real devídeo e reconhecimento de sinais de áudio, em que extensãoexiste uma correlação entre as respectivas cenas de vídeoreconhecido e a voz acompanhando reconhecida ou assinaturasou de áudio. Em um evento de exemplo de reconhecimento,para o reconhecimento de um movimento de esfaqueamento, ainformação de vídeo é utilizada para a finalidade de tentaravaliar as probabilidades de várias cenas de vídeo. Se ésabido que tais cenas seriam acompanhadas pela voz de tomalto (gritando etc) e depois de detectar um tom alto apartir da entrada de áudio irá aumentar a probabilidade deser um resultado de um movimento de esfaqueamento capturadonos sinais de vídeo. 0 operador realiza o monitoramentovisual de uma área particular pesquisada pela matriz decâmara 40 e quando uma indicação de alarme é fornecida pelunidade geradora de alarme, é decisão do operador deexpedição ou não da polícia ou do pessoal de emergênciapara a área monitorada. É evidente que a partir dadescrição acima que há uma extração de informações úteis apartir das entradas de áudio que está sendo combinadas comos eventos de reconhecimento de vídeo, que melhora ofuncionamento total do sistema de vigilância.

Como ainda mostrado na Figura 4, o link .decomunicações 60 entre o mecanismo de reconhecimento devídeo 62 e o mecanismo de reconhecimento mútuo 64 ébidirecional, assim como a ligação de comunicações 61 entreo mecanismo de reconhecimento de áudio 63 e mecanismo dereconhecimento mútuo 64. A Bi-direcionalidade das ligações60 e 61 permite a mútua influência de algoritmos dereconhecimento de vídeo'e áudio da maneira descrita, o que,como conseqüência, dá melhor nível de reconhecimento devídeo e áudio, bem como possibilidade de executar adetecção de eventos específicos, que foram até agoraimpossíveis de detectar.

Embora a invenção tenha sido mostrada e descritaparticularmente no que diz respeito à concretizaçõesilustrativas e preformadas, será entendido por aquelesversados na técnica que a descrição anterior e outrasalterações na forma e nos detalhes podem ser feitos namesma, sem se afastar do espírito e do escopo da invenção,que deve ser limitada apenas pelo escopo das reivindicaçõesanexas.

Claims (27)

1. Sistema de vigilância utilizando reconhecimento devídeo e áudio caracterizado pelo fato de que compreende:meio para a geração de sinais de vídeo em tempo realcompreendendo informação de vídeo tomada de uma área sobvigilância,meio para a obtenção de sinais de áudio em tempo real,incluindo informações de áudio da referida área sobvigilância,meio para simultaneamente receber o referido sinal devídeo e sinais de áudio, determinando informação dereconhecimento de vídeo e áudio pertinente a partir domesmo, e mutuamente correlacionar a informação de áudio evídeo em tempo real para determinar a probabilidade deocorrência de um determinado evento, emeio para gerar uma condição de alarme com base naocorrência do referido evento determinado.

2. Sistema, de acordo com a reivindicação 1,caracterizado pelo fato de que o referido meio paraprocessar compreende um primeiro mecanismo dereconhecimento para processamento de sinais de vídeo paradeterminar a referida informação de reconhecimento devídeo.

3. Sistema, de acordo com a reivindicação 2,caracterizado pelo fato de que o referido meio deprocessamento compreende um segundo mecanismo dereconhecimento para processamento dos referidos sinais deáudio para determinação da referida informação dereconhecimento de áudio.

4. Sistema, de acordo com a reivindicação 1,caracterizado pelo fato de que o referido meio deprocessamento compreende um meio para o reconhecimentomútuo para correlacionar a informação de reconhecimento deáudio e video e aumentar a capacidade de detecção deocorrência de um evento particular.

5. Sistema, de acordo com a reivindicação 4,caracterizado pelo fato de que o referido meio para ageração de sinais de video em tempo real inclui um ou maisdispositivos de filmagem, o referido meio de reconhecimentomútuo ainda compreendendo meio para a geração de sinais decontrole para direcionar uma ou mais câmaras dosdispositivos da câmera para capturar sinais de video nadireção do evento particular em resposta ao reconhecimentoda ocorrência daquele evento com base no referidoreconhecimento de áudio do evento.

6. Sistema, de acordo com a reivindicação 5,caracterizado pelo fato de que cada um dos referidosdispositivos de câmara de vídeo incluem um ou mais decomponentes de espelhos de pan/tilt, sistema de lente,mecanismo de foco, mecanismo de pan e mecanismo de tiltresponsivos aos referidos sinais de controle para ajustaruma ou mais parâmetros de pan, tilt, zoom, rotação, dolly,controle de translação dos dispositivos de câmara.

7. Sistema, de acordo com a reivindicação 4,caracterizado pelo fato de que o referido meio para ageração de sinais de áudio em tempo real compreende um oumais dispositivos de microfone, o referido meio dereconhecimento mútuo ainda compreende meio para a geraçãode sinais de controle para direcionar um ou mais microfonesdos dispositivos de microfone para permitir a captura deinformação de reconhecimento de áudio na direção do eventoparticular em resposta à ocorrência de reconhecimento de umevento potencial com base no referido reconhecimento devídeo do evento.

8. Sistema, de acordo com a reivindicação 7,caracterizado pelo fato de que cada um dos referidosdispositivos de microfone são responsivos aos referidossinais de controle para ajustar automaticamente aorientação dos microfones em consideração da detecção desinais de áudio de uma faixa de freqüência requerida.

9. Sistema, de acordo com a reivindicação 7,caracterizado pelo fato de que cada um dos referidosdispositivos de microfone são responsivos aos referidossinais de controle para ajustar automaticamente aorientação dos microfones em consideração ao recebimento desinais de áudio em qualquer grau de diretividade.

10. Sistema, de acordo com a reivindicação 7,caracterizado pelo fato de que ainda inclui meio paraarmazenamento dos referidos dados de áudio e video.

11. Sistema, de acordo com a reivindicação 7,caracterizado pelo fato de que ainda compreende meio paracomprimir os referidos dados de áudio e video antes deguardá-los no referido meio de armazenamento.

12. Método de vigilância utilizando reconhecimento devideo e áudio caracterizado pelo fato de que compreende asetapas de:receber, simultaneamente, em um meio de processamentode sinais de video, em tempo real, compreendendo informaçãode video tomando em uma área sob vigilância e sinais deáudio, em tempo real, que incluem informações de áudio dareferida área sob vigilância,determinar informação relevante de reconhecimento devideo e áudio do referidos sinais de áudio e videorecebidos;correlacionar mutuamente, em tempo real, a informaçãode reconhecimento de áudio e video para determinar aprobabilidade de ocorrência de um determinado evento; e,gerar a condição de alarme com base na ocorrência doreferido evento determinado.

13. Método de vigilância, de acordo com areivindicação 12, caracterizado pelo fato de que o referiomeio de processamento compreende um primeiro mecanismo dereconhecimento que implementa o processamento de etapaspara determinar a referida informação de reconhecimento devideo dos referidos sinais de video.

14. Método de vigilância, de acordo com areivindicação 13, caracterizado pelo fato de que o referidomeio de processamento compreende um segundo mecanismo dereconhecimento que implementa o processamento de etapaspara determinação da referida informação de reconhecimentode áudio dos referidos sinais de áudio.

15. Método de vigilância, de acordo com areivindicação 12, caracterizado pelo fato de que o referidomeio de processamento compreende um meio para oreconhecimento mútuo para correlacionar a informação dereconhecimento de áudio e video e aumentar a capacidade dedetecção de ocorrência de um evento particular.

16. Método de vigilância, de acordo com areivindicação 12, caracterizado pelo fato de que,concomitantemente com a referida etapa de recebimento, aetapa de obtenção de sinais de video em tempo real por umou mais dispositivos de câmera, o referido meio dereconhecimento mútuo ainda compreende meio para a geraçãode sinais de controle para direcionar uma ou mais câmarasdos dispositivos da câmera para capturar sinais de video nadireção do evento particular em resposta ao reconhecimentoda ocorrência daquele evento com base no referidoreconhecimento de áudio do evento.

17. Método de vigilância, de acordo com areivindicação 16, caracterizado pelo fato de que cada umdos referidos dispositivos de câmara de video incluem um oumais de componentes de espelhos de pan/tilt, sistema delente, mecanismo de foco, mecanismo de pan e mecanismo detilt responsivos aos referidos sinais de controle paraajustar uma ou mais parâmetros de pan, tilt, zoom, rotação,dolly, controle de translação dos dispositivos de câmara.

18. Método de vigilância, de acordo com areivindicação 15, caracterizado pelo fato de que,concomitantemente com a referida etapa de recebimento, aetapa de obtenção de sinais de áudio em tempo real por umou mais d dispositivos de microfone, o referido meio dereconhecimento mútuo ainda compreende meio para a geraçãode sinais de controle para direcionar um ou mais microfonesdos dispositivos de microfone para permitir a captura deinformação de reconhecimento de áudio na direção do eventoparticular em resposta à ocorrência de reconhecimento de umevento potencial com base no referido reconhecimento devídeo do evento.

19. Método de vigilância, de acordo com areivindicação 18, caracterizado pelo fato de que cada umdos referidos dispositivos de microfone são responsivos aosreferidos sinais de controle para ajustar automaticamente aorientação dos microfones em consideração da detecção desinais de áudio de uma faixa de freqüência requerida.

20. Método de vigilância, de acordo com areivindicação 18, caracterizado pelo fato de que cada umdos referidos dispositivos de microfone são responsivos aosreferidos sinais de controle para ajustar automaticamente aorientação dos microfones em consideração ao recebimento desinais de áudio em qualquer grau de diretividade.

21. Método de vigilância, de acordo com areivindicação 12, caracterizado pelo fato de que aindainclui meio para armazenamento dos referidos dados de áudioe vídeo.

22. Método de vigilância, de acordo com areivindicação 21, caracterizado pelo fato de que aindacompreende meio para comprimir os referidos dados de áudioe video antes de guardá-los no referido meio dearmazenamento.

23. Dispositivo de armazenamento de programa legívelpor uma máquina, concretizando, de maneira tangível, umprograma de instruções executáveis pela máquina- paraimplementar as etapas do método para a realização devigilância de uma área utilizando reconhecimento de áudio evídeo, o referido método, incluindo as etapas de:receber, simultaneamente, em um meio de processamentode sinais de vídeo, em tempo real, compreendendo informaçãode vídeo tomando em uma área sob vigilância e sinais deáudio, em tempo real, que incluem informações de áudio dareferida área sob vigilância,determinar informação relevante de reconhecimento devídeo e áudio do referidos sinais de áudio e vídeorecebidos;correlacionar mutuamente, em tempo real, a informaçãode reconhecimento de áudio e vídeo para determinar aprobabilidade de ocorrência de um determinado evento; e,gerar a condição de alarme com base na ocorrência doreferido evento determinado.

24. Dispositivo de armazenamento de programa legívelpor uma máquina, de acordo com a reivindicação 23,caracterizado pelo fato de que o referido meio deprocessamento compreende um primeiro mecanismo dereconhecimento que implementa o processamento de etapaspara determinar a referida informação de reconhecimento devídeo dos referidos sinais de vídeo.

25. Dispositivo de armazenamento de programa legívelpor uma máquina, de acordo com a reivindicação 24,caracterizado pelo fato de que o referido meio deprocessamento compreende um meio para o reconhecimentomútuo para correlacionar a informação de reconhecimento deáudio e vídeo e aumentar a capacidade de detecção deocorrência de um evento particular.

26. Dispositivo de armazenamento de programa legívelpor uma máquina, de acordo com a reivindicação 23,caracterizado pelo fato de que, concomitant emente com areferida etapa de recebimento, a etapa de obtenção desinais de vídeo em tempo real por um ou mais dispositivosde câmera, o referido meio de reconhecimento mútuo aindacompreende meio para a geração de sinais de controle paradirecionar uma ou mais câmaras dos dispositivos da câmerapara capturar sinais de vídeo na direção do eventoparticular em resposta ao reconhecimento da ocorrênciadaquele evento com base no referido reconhecimento de áudiodo evento.

27. Dispositivo de armazenamento de programa legívelpor uma máquina, de acordo com a reivindicação 25,caracterizado pelo fato de que concomitantemente com areferida etapa de recebimento, a etapa de obtenção desinais de áudio em tempo real por um ou mais d dispositivosde microfone, o referido meio de reconhecimento mútuo aindacompreende meio para a geração de sinais de controle paradirecionar um ou mais microfones dos dispositivos demicrofone para permitir a captura de informação dereconhecimento de áudio na direção do evento particular emresposta à ocorrência de reconhecimento de um eventopotencial com base no referido reconhecimento de vídeo doevento.