WO2019232607A1

WO2019232607A1 - Método e sistema para inspeção termográfica móvel de redes de distribuição de energia

Info

Publication number: WO2019232607A1
Application number: PCT/BR2019/050214
Authority: WO
Inventors: Yuzo Yano; Francisco FAMBRINI; Rangel ARTHUR; Frank Alexis Canahuire CABELLO; Guilherme MAZONI; Abel Alejandro Dueñas RODRIGUEZ; João Marcelo Bonturi VON ZUBEN; Eduardo CARRARA; Diogo Gará CAETANO; Rosivaldo FERRAREZI
Original assignee: Universidade Estadual de Campinas UNICAMP; Rio Grande Energia SA
Current assignee: Universidade Estadual de Campinas UNICAMP; Rio Grande Energia SA
Priority date: 2018-06-08
Filing date: 2019-06-07
Publication date: 2019-12-12
Anticipated expiration: 2020-12-08
Also published as: BR102018011661A2

Abstract

A presente invenção se refere a um método para gerar relatórios de diagnóstico preventivos de falhas em elementos da rede de distribuição de energia elétrica utilizando imagens termográficas e ópticas obtidas a partir de câmeras posicionadas sobre um veículo, as imagens termográficas (CT) e ópticas (CO) sendo capturadas simultaneamente por meio de robô que realiza o posicionamento das câmeras.

Description

"MÉ TODO E SISTEMA PARA INSPEÇÃO TERMOGRÁFICA MÓVEL DE REDES

DE DISTRIBUIÇÃO DE ENERGIA"

Campo da Invenção

[0001] A presente invenção se refere a um método e sistema para gerar relatórios de diagnóstico preventivos de falhas em elementos da rede de distribuição de energia elétrica utilizando imagens termográficas e ópticas obtidas a partir de câmeras posicionadas sobre um veiculo, as imagens termográficas e ópticas sendo capturadas simultaneamente por meio de robô que realiza o posicionamento das câmeras.

Antecedentes da Invenção

[0002] Com o desenvolvimento tecnológico na área eletrónica, as câmeras ópticas e termográficas disponíveis no mercado proporcionam imagens com resoluções cada vez melhores. A obtenção de tais imagens pode destinar-se a uma vasta gama de aplicações, dentre as quais o monitoramento de equipamentos e componentes elétricos durante seu funcionamento .

[0003] Diferentes tecnologias são atualmente empregadas na tentativa de monitorar de forma eficiente os elementos elétricos com possíveis defeitos. Tais elementos podem apresentar sobreaquecimento, necessitando de manutenção, troca ou remanej amento de carga na rede.

[0004] O documento de patente n° US 2017/0150069 Al, publicado em 25 de maio de 2017, sob o título: "THERMAL IMAGING BASED MONITORING SYSTEM", em nome de SEEK THERMAL, INC, se refere a um sistema para monitoramento de qualquer campo de visão usando sensores matriciais de radiação infravermelha. Após a aquisição, a imagem térmica é segmentada em duas ou mais regiões, identificando a temperatura dessas regiões a partir das informações fornecidas pelo fabricante da câmera e gerando um alerta em caso de temperatura acima de uma referência. De forma distinta, a presente invenção utiliza câmeras ópticas e térmicas para um sistema inteligente que identifica elementos com funcionamento irregular em diferentes pontos da rede de distribuição de energia elétrica. O método da presente invenção não utiliza a separação de regiões e análise de temperatura dessas regiões. Adicionalmente, o sistema do documento US 2017/0150069 AI não trata de um sistema móvel. O documento US 2017/0150069 AI descreve um sistema de monitoramento de imagens termográficas baseado em redes com várias câmeras alimentadas com baterias. Neste sistema descrito no documento US 2017/0150069 Al, uma rede de transmissão sem fio (WiFi) transmite as imagens captadas pelas câmeras termográficas até um computador remoto. O documento US 2017/0150069 Al descreve o sistema pelo qual as baterias irão controlar as câmeras e se refere a um método visando economizar energia das baterias e aumentar a vida útil das mesmas, de modo a ampliar os períodos entre eventuais recargas. O método da presente invenção não tem por objetivo economizar a energia das baterias que alimentam câmeras termográficas , não utiliza rede de transmissão de imagens termográficas sem fios. O método da presente invenção não possui Algoritmo que visa economizar energia de baterias; não é um sistema de monitoramento que transmite imagens por radiofrequência para um computador remoto. O método da presente invenção compreende a captura de imagens termográficas e imagens ópticas a partir de quatro câmeras térmicas e quatro câmeras ópticas, as quais ficam instaladas no teto superior de um veículo automóvel. Estas imagens são transmitidas através de fios (cabos elétricos) para um computador no interior do veiculo automóvel. Este computador no interior do veiculo faz a extração de caracteristicas das imagens coloridas padrão RGB, extrai as caracteristicas das imagens pelo método " Gradíent Descent Mlnlmlzatlon" , classifica as imagens pelo método " Convolution Neural Network" , compara com um vetor de caracteristicas proveniente de um banco de imagens (que são vetores numéricos), identifica os elementos da rede elétrica para os quais o sistema foi previamente treinado e produz automaticamente um relatório que traz as fotos ópticas e termográficas de todos os elementos fotografados, evidenciando pontos de aquecimento ("hot spots") em elementos da rede que necessitem de manutenção. Todas estas informações constam no relatório gerado automaticamente pelo método da presente invenção. Nenhuma dessas caracteristicas faz parte da descrição contida no documento US 2017/0150069 AI .

[0005] O documento CN 104809722 A, publicado em 29 de julho de 2015, sob o titulo: "ELECTRICAL DEVICE FAULT DIAGNOSIS METHOD BASED ON INFRARED THERMOGRAPHY", em nome de STATE GRID CORP CHINA; SHANDONG ELEC POWER RES INST, se refere a um método de análise de imagens térmicas baseado em limiarização Otsu, extração de caracteristicas (momento Zernike) e treinamento por redes neurais. O documento CN 104809722 A descreve um método de diagnóstico de falhas em elementos da rede elétrica baseado em termografia infravermelha, onde as imagens de termografia infravermelha são submetidas a processamento em níveis de cinza e segmentadas por meio do método de limiarização de OTSU. Os parâmetros característicos das imagens de termografia infravermelha segmentadas são extraídos para servir como parâmetros de entrada de uma rede neural do tipo

"BackPropagation" (abreviada por BP) e a rede neural BP é treinada com imagens extraídas. O diagnóstico de defeito térmico é realizado no dispositivo elétrico por meio da rede neural BP treinada e um resultado de diagnóstico é gerado. No método da presente invenção são analisadas ambas as imagens de um mesmo elemento: a imagem termográfica e também a imagem óptica no padrão RGB (sem transformar em escalas de cinza) . No método da presente invenção, são analisadas imagens em cores (padrão RGB) pelo computador, ao contrário do sistema proposto pelo documento CN 104809722 A, que trabalha com as imagens em escalas de cinza. No sistema descrito no documento CN 104809722 A as características das imagens em escala de cinza são extraídas através do método de "Momentos de Zernicke". Em uma concretização da presente invenção, as características das imagens coloridas são extraídas através do método de Minimização do Gradiente Descendente (Gradient Descent Minimization - GDM) que faz parte da técnica de identificação de imagens conhecida na literatura como " Deep Learning" (Aprendizagem Profunda) . No sistema descrito pelo documento CN 104809722 A, a classificação das imagens é efetuada a partir de uma Rede Neural Backpropagation (BP) e a classificação das imagens de acordo com o método da presente invenção é efetuada através de uma Rede Neural Convolucional (CNN = Convolution Neural NetWork) .

[0006] O artigo disponibilizado através do link www .mfap . com.br/pesquisa/arquivos/20081126150533-174. pdf, sob o título: "ROBÔ PARA MONITORAMENTO DE PONTOS QUENTES POR MEIO DE CÂMERAS INFRAVERMELHO EM SUBESTAÇÕES DE ENERGIA ELÉTRICA", em nome de M. V. Garbelotti et ai (documento não datado) da companhia TBE - Transmissoras Brasileiras de Energia, trata do uso de um robô para monitorar subestações de energia elétrica usando uma câmera de infravermelho. O robô é controlado remotamente (não tem inteligência para se posicionar), tendo uma contagem de pulsos como guia. As imagens são analisadas apenas para a identificação de temperaturas acima de um limite pré-fixado. Diferentemente da presente invenção, o sistema de Garbelotti et ai é muito limitado, não é feito nenhum processamento para identificação de elementos, não são utilizadas câmeras ópticas, não são gerados relatórios. No método da presente invenção, a câmera é dinamicamente apontada para os objetos de interesse através de um Algoritmo de Reconhecimento de Imagens baseado na técnica conhecida na literatura como "Deep Learning" : os elementos são reconhecidos através de sua forma por meio de uma rede neural convolucional . No sistema descrito no documento de Garbelotti et ai toda a estrutura é comandada por um programa residente em um PC localizado a uma distância de aproximadamente lkm do robô. No método da presente invenção, o comando de todo o sistema se encontra no interior do próprio veiculo automóvel, a uma distância de poucos metros da câmera, o que confere maior imunidade a interferência eletromagnética em relação ao sistema descrito no artigo de Garbelotti et ai.

[0007] A patente n° US 7,989,769 B2, concedida em 02 de agosto de 2011, sob o titulo: " IN-CABINET THERMAL MONOTORING METHOD AND SYSTEM", em nome de ROCKWELL AUTOMATION TECHNOLOGIES, INC, descreve um sistema para monitoramento de quadros de energia, com sensores de baixo custo e com identificação de um único conjunto de elementos. Um sistema mecânico no quadro permite a varredura dos elementos do quadro (varredura estática) . De forma muito diferente, o método da presente invenção utiliza um sistema inteligente que identifica elementos em diferentes pontos da rede de distribuição .

[0008] Portanto, nota-se a necessidade de um método para monitoramento de pontos quentes que seja capaz de capturar, de forma móvel, imagens ópticas e térmicas a serem processadas de forma a identificar por meio de algoritmos de reconhecimento de padrões os componentes elétricos presentes no poste e gerar relatórios sobre os componentes identificados .

Sumário da Invenção

[0009] O método para monitoramento de pontos quentes da presente invenção é capaz de reconhecer os tipos de elementos elétricos com e sem sobreaquecimento ao longo das linhas de distribuição aérea. A identificação dos elementos é realizada durante o deslocamento de um veiculo terrestre equipado com um arranjo de câmeras ópticas e termográficas e controladas por um robô. O sistema possui uma série de algoritmos, entre eles: software para controle de Pan-tilt, software para controle de disparo e controle das câmeras por computador, software de rastreamento de Postes, software para combinação de imagens de elementos capturados por diferentes câmeras, software de reconhecimento de padrões que utiliza redes neurais ( Deep Learning) , software para interface com mapas e software para geração de relatórios. A presente invenção ainda apresenta um sistema de amortecimento especifico para compensação de vibração.

[0010] Dentre as funcionalidades proporcionadas pelo método de inspeção termográfica da presente invenção, destacam-se : [1] Captura de imagens de elementos elétricos ao longo da linha de distribuição aérea de energia sem a presença ou intervenção de instrumentista ou termografista durante o percurso .

[2] Realizar a etapa [1] com o veiculo terrestre em movimento ;

[3] Processamento das imagens para reconhecimento de padrões de elementos elétricos.

[4] Processamento das imagens para identificar os elementos com sobreaquecimento ;

[5] Combinação de imagens de diversas câmeras para geração de um único relatório por elemento com imagens em diferentes ângulos.

[6] Combinação de imagens termográficas e ópticas para processamento ;

[7] Capacidade de captura e reconhecimento de elementos elétricos simultaneamente em dois lados da via;

[8] Capacidade de identificação de variação de largura de via através de uso de uma câmera com visão frontal, processamento de imagens e software de controle de pan-tílt para posicionamento correto das câmeras traseiras a partir das informações da câmera frontal.

[9] Capacidade de geração de biblioteca de imagens de novos elementos para retroalimentação de rede neural .

[10] Capacidade de compensação de medidas de temperatura e comparação da medida com histórico de temperaturas de elementos elétricos geolocalizados armazenadas em banco de dados, com o objetivo de recomendação de ação preventiva.

[0011] O método da presente invenção então faz a combinação dos itens 1 a 10 com o objetivo de gerar relatórios de inspeção termográfica sem a necessidade de intervenção de instrumentistas e sem a necessidade de parada do veiculo.

[0012] Tais objetivos e vantagens são alcançados através de um método para inspeção termográfica móvel de redes de distribuição de energia que compreende as etapas de :

ajustar, automaticamente e remotamente, a posição das câmeras ópticas e térmicas a partir de um meio para ajustar, automaticamente e remotamente, a posição das câmeras ópticas e térmicas nos sentidos vertical e rotacional (ou eixos) acionado a partir de uma largura da via obtida através de uma câmera frontal;

capturar, com o veiculo em movimento, uma pluralidade de imagens ópticas e uma pluralidade de imagens térmicas a partir de pares de câmeras ópticas e câmeras térmicas dispostos em uma base de suporte sobre um veículo;

calcular, em tempo real, a compensação de temperatura a partir de uma base de dados com valores nominais de corrente dos elementos elétricos detectados em cada ponto em função de medições de velocidade do vento e temperatura ambiente ;

realizar o reconhecimento de padrões de postes utilizando uma Deep Learning com adição de uma camada de imagem térmica e executar o seguimento KCF ( Kernelízed Correlation Filter) para o poste de maior área;

realizar o pré-processamento de imagens ópticas e térmicas ;

localizar pontos de interesse através uma rede Deep Learning e seleção de imagens associadas a uma etiqueta definida; relatar se determinada região ou elemento do poste apresenta sobreaquecimento de acordo com o seu respectivo limiar de sobreaquecimento.

Breve Descrição das Figuras

[0013] Os objetivos e vantagens da presente invenção se tornarão mais claros através da descrição detalhada a seguir de uma concretização preferida, mas não limitativa da invenção, tendo em vista as figuras anexas, em que:

[0014] A figura 1 ilustra um arranjo de câmeras ópticas e térmicas instaladas em pares sobre o teto de um veiculo ;

[0015] A figura 2 ilustra um exemplo de medição da distância entre as sarjetas através da transformada de Hough;

[0016] A figura 3 ilustra o procedimento para conversão da imagem no formato Bayer para o formato RGB;

[0017] A figura 4 ilustra a detecção de elementos contidos no poste usando o algoritmo YOLO modificado;

[0018] A figura 5 ilustra um exemplo de Arquitetura tradicional das Redes Neurais Convolucionais . Os primeiros estágios são compostos de camadas de convolução e pooling e as últimas camadas são completamente conexas;

[0019] A figura 6 ilustra uma aplicação de max pooling em uma imagem 4x4 utilizando um filtro 2x2;

[0020] A figura 7 apresenta uma rede convolucional para a imagem RGB+T;

[0021] A figura 8 apresenta uma detecção do poste usando o algoritmo YOLO modificado;

[0022] A figura 9 representa uma imagem de um poste elétrico obtido pela câmera ótica, resolução da imagem é 1024 x 643 (reescalonado de 1936 x 1216); [0023] A figura 10 ilustra uma imagem de um poste elétrico usando a câmera térmica;

[0024] A figura 11 ilustra uma imagem térmica convertida para o a escala da imagem ótica, agora com resolução 1024 x 643 (antes era de 640 x 480);

[0025] A figura 12 ilustra uma imagem térmica reescalonada superposta na imagem ótica;

[0026] A figura 13 ilustra uma Diferença de Gaussiano da imagem óptica;

[0027] A figura 14 ilustra uma Diferença de Gaussiano da imagem térmica;

[0028] A figura 15 ilustra Bordas da imagem térmica usando a matriz de projeção inicial;

[0029] A figura 16 ilustra a superposição da projeção da imagem térmica com a imagem ótica;

[0030] A figura 17 ilustra uma distância entre o centro do poste e o centro da imagem óptica;

[0031] A figura 18 apresenta um fluxograma das etapas de rastreamento ( trackíng) do pan-tilt.

Descrição Detalhada da Invenção

Câmeras ópticas e térmicas

[0032] Conforme mostrado na figura 1, o sistema de câmeras consiste em uma câmera frontal (CF) e de 4 pares de câmeras ópticas (CO) e térmicas (CT) os quais são: frontal direito (FD), frontal esquerdo (FE), traseira direita (TD) e traseira esquerda (TE) .

[0033] De acordo com uma concretização, as câmeras ópticas CO realizam a gravação das imagens em formato Bayer com um valor fixo de 2,4 MBytes por imagem com uma resolução de 1936 x 1216 pixels. [0034] Contudo, é evidente para uma pessoa versada na técnica, o uso de outros formatos e resoluções.

Base de Suporte para as Câmeras Ópticas e Térmicas

[0035] Uma base mecânica é fornecida para permitir a fixação de arranjos de câmeras ópticas CO e térmicas CT, juntamente com denominados "pan-tilts", que são equipamentos que permitem imunidade a irregularidades do terreno e também o controle de posicionamento das câmeras nos sentidos vertical e rotacional. Estão listados a seguir os objetivos atingidos da base:

- Projeto de uma base mecânica flexível que possibilita arranjos de câmeras ópticas CO e térmicas CT durante o projeto sem a necessidade de re-fabricação;

- Obtenção de uma base com peso reduzido;

- Base com amortecimento evitando a vibração em excesso das câmeras;

- Suportar a instalação de Pan-tilts;

- Possibilidade do controle do movimento de todas as câmeras por Software;

- Possibilidade que algoritmos inteligentes assumam o controle das câmeras e possibilite a redução do número de câmeras; e

Possibilidade de arranjo com um número menor de câmeras .

Compensação Automática de Altura do Sistema Pan-Tilt

[0036] Todas as câmeras deste sistema de aquisição de imagens, tanto as ópticas quanto as térmicas, são controladas por um sistema de posicionamento do tipo Pan- tilt. Trata-se de um sistema mecânico-robótico com 2 graus de liberdade que permite movimentar via software as câmeras nas direções vertical e horizontal. [0037] O movimento de "Pan" é definido em 360 graus no plano horizontal em relação ao solo, e o movimento de "Tilt" é definido como sendo o movimento de 180 graus no plano vertical, ortogonal ao plano do movimento "Pan". À medida que as ruas se tornam mais estreitas, existe a necessidade de se elevar a altura das câmeras para que as áreas de interesse, onde se localizam os elementos da rede elétrica, continuem sendo fotografadas adequadamente.

[0038] Uma câmera frontal é então utilizada para se medir a largura das ruas, de forma a se mensurar o estreitamento ou alargamento da via para se corrigir automaticamente a posição dos motores dos sistemas Pan- Tilts. O principio do algoritmo proposto é aplicar a Transformada de Hough para medir a distância (fixando-se 2 pontos fixos na imagem) entre as sarjetas das guias das ruas, conforme mostrado na Figura 2. As bordas (guias) das ruas são segmentos de retas.

[0039] Ao medir uma nova distância entre as guias da estrada, o sistema automaticamente corrige a posição de "Tilt", mudando a altura das câmeras em função da maior ou menor proximidade do veiculo que captura as imagens em relação aos postes.

[0040] O script a seguir é então aplicado com a finalidade de obter a largura da via.

1. Leitura da imagem da câmera frontal do veículo;

2. Binarização da imagem capturada usando metade da faixa de intensidade máxima da imagem;

3. Aplicação do filtro de Sobel, de forma a se destacar as regiões de contorno da imagem;

4. Aplicação da Transformada de Hough na imagem resultante da etapa de aplicação do filtro de Sobel. 5. Aplicação da Transformada de Distância usando as linhas principais obtidas da etapa anterior.

6. As variações das medidas temporais da etapa 5 serão fornecidas para o controle do Pan-tilt.

Compensação de temperatura a partir de condições ambientai s

[0041] Antes da etapa de aplicação do reconhecimento de padrões é necessário realizar a correção de temperatura, de acordo com GED 3485, em função do vento e do carregamento da linha. Para isso, é necessária uma base de dados contendo os valores nominais de corrente de trabalho dos elementos de cada ponto. A medida de velocidade do vento e a temperatura ambiente, no momento da medida, deverão ser obtidas em tempo real .

[0042] Inicialmente calcula-se a elevação de temperatura atual, que é a diferença entre a temperatura em que se encontra o material e a temperatura ambiente:

Onde :

Ati é a elevação de temperatura medida com o carregamento atual

T_mat é a temperatura do ponto de medida (material)

T_amb é a temperatura ambiente no momento em que foi feita a inspeção.

[0043] A elevação de temperatura devido ao carregamento pode ser calculada por:

[0044] Para a velocidade do ar, a correção é:

Onde :

Velocidadei é a velocidade do ar no momento da medição Velocidade2 é a velocidade do ar para a qual se deseja achar a elevação da temperatura, normalmente para velocidade do ar de 1 m/s.

[0045] Uma vez obtida a variação de temperatura corrigida, ações exemplares em cada nivel de temperatura que deverão ser utilizadas são ilustradas na Tabela 1 a seguir:

TABELA 1 1. Identificação de pontos quentes

1.1 - Pré-processamento

[0046] Conforme ilustrado na figura 3, é realizada uma conversão de um formato Bayer para RGB, de acordo com uma concretização da presente invenção. Uma imagem em formato Bayer é dividida em sub-imagens 4x4 e, a partir desta, é calculado um pixel em formato RGB.

[0047] Adicionalmente é realizado um reescalonamento da imagem para 1024x643 pixels mantendo o formato da imagem original e também será realizada uma compressão em JPG para diminuir o espaço de armazenamento. Com esta conversão a imagem terá um tamanho médio de 135,31 KBytes (18 vezes menor que da imagem original) .

[0048] Uma vez que as câmeras traseiras recebam a informação sobre a posição do poste, será acionado o algoritmo de seguimento do poste (apenas para a imagem óptica) para o controle do Pan-tilt e serão extraídas as regiões de interesse ao redor do poste que será a entrada ao novo algoritmo de aprendizagem profunda. Porém, nesse caso, são identificados os elementos que pertencem ao poste, como por exemplo chaves faca, chaves fusíveis, transformador, etc .

[0049] Na Figura 4 é mostrado um exemplo de detecção dos elementos contidos no poste usando o algoritmo YOLO modificado. Este procedimento é mais preciso que quando aplicado na imagem inteira, assim a imagem do poste é reescalonada para uma resolução de 448 x 448, para que seja a entrada do algoritmo da rede convolucional .

1.2 - Detecção de pontos quentes

[0050] A identificação de pontos quentes é baseada em dois tipos de imagens: térmicas e ópticas. As imagens térmicas são constituídas de pseudocores e são acompanhadas de dados fornecidos pelo fabricante de equipamento, que relevam uma estimativa de temperatura dos objetos presentes. A imagem óptica é obtida a partir de uma câmera convencional, não possui informações adicionais, mas permite uma quantidade maior de pixels quando comparada à imagem térmica. 1.2.1. Localização dos pontos de interesse

[0051] A fase inicial consiste em encontrar uma imagem que possui os objetos de interesse: postes e elementos de rede. A premissa é classificar uma imagem obtendo as características dela. Para isto, primeiro é necessário detectar as características locais para logo agrupá-las em uma representação global dentro da imagem. Finalmente treinar um classificador para poder associar uma etiqueta à imagem. Assim, se desejamos classificar uma nova imagem, este classificador saberá que etiqueta deverá ser relacionada .

[0052] A detecção de postes será realizada utilizando um Rede Neuronal Convolucional , também chamada de aprendizagem profunda ou Deep Learníng. Atualmente uma típica arquitetura de uma Rede Neuronal Convolucional é dividida em uma série de estágios. Os primeiros estágios são compostos de dois tipos de camadas, as camadas de convolução e as camadas de poolíng, como mostrado na Figura 5. A camada de convolução consiste em mapas de atributos, conectados a cada unidade da camada anterior através de um conjunto de parâmetros compartilhados entre todas as unidades e possui ReLUs (Rectified Linear Units) , neurônios com função de ativação definida como a não-linearidade na forma descrita na seguinte equação aplicados na saída de cada camada convolucional : /(x) = max( 0, x) (4)

[0053] As camadas de pooling são uma forma de down sampling. Uma típica camada de pooling computa o máximo local de uma determinada região do mapa de atributos, como pode ser visto na Figura 6. Elas são úteis por eliminar valores não máximos, reduzindo a dimensão da representação dos dados e consequentemente a computação necessária para as próximas camadas, além de criar uma invariância a pequenas mudanças e distorções locais. Dois ou três estágios de convolução, não-linearidade e pooling são empilhados, seguidos por mais camadas de convolução e camadas completamente conectadas. As camadas convolucionais e de pooling são diretamente inspiradas por noções clássicas de células simples e células complexas na neurociência visual.

[0054] O procedimento realizado com os dois pares de câmeras direitas é o mesmo realizado nos dois pares de câmeras esquerdas, com isso só será explicado para o lado direito. O par de câmeras FD terá a tarefa de realizar a detecção do poste, sendo encarregado de avisar ao par de câmeras traseiras direitas que um poste foi detectado. Para realizar a detecção do poste, será utilizada uma modificação da arquitetura da rede neuronal profunda usada no algoritmo YOLO adicionando a camada de imagem térmica. Para isso, a imagem térmica de resolução 640x480 será reescalonada para 1024x643 e assim construir uma imagem RGB+T com resolução 1024x643 pixels com 4 camadas de cores, conforme ilustrado na Figura 7.

[0055] Essa rede realiza um reescalonamento da imagem para uma matriz quadrada de resolução 448 x 448 x 4 e é formada por 24 camadas convolucionais e, no final, por duas camadas completamente conectadas. Esse algoritmo tem um custo computacional elevado, motivo pelo qual será complementado com o algoritmo de seguimento KCF ( Kernelízed Correlation Filter) . Uma vez que um ou vários postes são detectados, será acionado o algoritmo de seguimento para o poste de maior área e o Pan-tilt realizará o seguimento do centro da área do poste. Se para 5 detecções (usando o algoritmo YOLO modificado) em intervalos de 10ms, a região do poste coincidir em pelo menos 90% da área da região com o algoritmo de seguimento KCF, então confirmaremos que o objeto detectado será um poste, informando em seguida ao par de câmeras traseiras direitas, conforme exemplo de detecção na Figura 8.

1.2.2. Segmentação e reconhecimento dos elementos da rede elétrica

[0056] Uma vez que as câmeras traseiras recebam a informação sobre a posição do poste, será acionado o algoritmo de seguimento do poste (só para a imagem ótica) para o controle do Pan-tilt e serão extraídas as regiões de interesse ao redor do poste que será a entrada ao novo algoritmo de aprendizagem profunda (idêntica ao mostrado na Figura 8) . Porém, nesse caso, serão identificados os elementos que pertencem ao poste como, por exemplo, chaves faca, chaves fusíveis, transformador, etc.

[0057] Para se identificar a temperatura dos elementos na imagem ótica será necessário calcular a matriz de projeção entre a imagem ótica e a térmica. Na Figura 9 é apresentada a imagem obtida pela câmera ótica Dalsa Genie Nano C1920, esta imagem foi convertida do padrão Bayer desta câmera .

[0058] Na Figura 10 é mostrada a imagem térmica, que foi convertida dos 16 bits e que usa um espaço de cores para representar as suas temperaturas (usando os 16 bits não é possível visualizar regiões quentes) .

[0059] Como as câmeras estão fixas no carro (ver Figura 1), a matriz de projeção entre elas é invariante à escala e rotação, desse modo somente serão alterados os seus parâmetros de translação.

[0060] Primeiro usando a matriz de projeção convertemos a imagem térmica no espaço da imagem ótica, como é mostrado em Figura 11.

[0061] Realizando a superposição das imagens ótica e a projeção da térmica, um exemplo de resultado obtido pode ser visto na Figura 12.

[0062] Para se calcular os parâmetros da matriz de homografia, são calculadas as diferenças de Gaussiano das imagens óptica e térmica para obter as bordas da imagem, conforme Figuras 14 e 15. As diferenças de gaussiano funcionam executando duas desfocagens gaussianas diferentes na imagem, com um raio diferente de desfocagem em cada uma, e subtraindo-as para obter o resultado. Este algoritmo é muito usado em visão artificial e é muito rápido quando comparado com outras técnicas para o mesmo fim, pois usam métodos muito eficientes para fazer desfocagem gaussiana. Os parâmetros mais importantes são os raios de suavização. Este método é o mais adequado para obter as bordas na imagem térmica em comparação aos algoritmos tradicionais Canny ou Sobel. Uma imagem I(x,y) é convertida para L(x,y,o), usando a gaussiana com desvio padrão o. Esta nova imagem é produzida pela convolução de uma função gaussiana, G(x,y,o), com a imagem I (x, y) .

L{x, y, a) = G(x, y, s) * I(x, y ) (5)

Onde :

[0063] A função de diferença de gaussiano é definida como :

D (x, y, o) = L (x, y, ka)— L (x, y, s) (7)

onde 'k' é a escala da diferença de gaussiana (no espaço de escalas) . Para as imagens térmicas será usado (k, s) = (5, 1.6) e para imagens óticas é usado um (k,a)= (6,1.6).

[0064] Para se calcular a translação serão convertidas as bordas da imagem térmica usando a matriz de homografia e logo serão modificados os parâmetros de translação numa vizinhança pequena, onde a maior quantidade de pixel do operador lógico "and" entre as imagens será a translação da matriz.

[0065] Na Figura 15 é mostrado o resultado da projeção das bordas da imagem térmica usando a matriz de projeção inicial, agora terá uma resolução de 1920 x 1200 pixels .

[0066] Na Figura 16 observa-se a conversão da imagem térmica usando a matriz de homografia com os parâmetros de translação modificados superposta com a imagem ótica. Nessa imagem já é possível obter as temperaturas dos elementos.

1.3 - Controle do Pan-tilt

[0067] De acordo com uma concretização exemplar, o controle do Pan-tilt é realizado usando o protocolo PELCO D, que é conformado por 7 bytes, no seguinte formato (valores em hexadecimal) :

byte 1: sincronização inicial, FF.

byte 2: endereço da câmera (câmera 1 tem endereço 01) . byte 3 e 4: comandol e comando2 como descritos abaixo. byte 5: data 1, velocidade para PAN, variando de 00 - parado a 3F - velocidade alta e FF - turbo.

byte 6: data 2, velocidade para TILT, variando de 00 - parado a 3F - velocidade alta.

byte 7 : checksum, soma dos bytes 2 a 6 e depois módulo

100.

[0068] Os bytes 3 (comandol) e 4 (comando2) codificam os reais controles desejados. Por exemplo, quando comando2 tiver o valor de 0000.0100 binário (ou 04 hexa) , a câmera endereçada deve realizar uma operação de PAN à esquerda; se tiver valor 0000.0010 binário, a operação será PAN à direita; se tiver valor 1000.0000, o foco será ajustado para longe.

[0069] Usando os algoritmos de detecção e seguimento do poste, obtém-se a posição do centro do poste (C_x, C_y) na imagem óptica, como mostrado na figura 17. É obtida a diferença de pixels com referência ao centro da imagem (P_x,P_y) e se esses pontos estiverem próximos então não será necessário girar o Pan-tilt. Conforme apresentado na figura 18, no caso dessa diferença ser considerável, será necessário girar o Pan-tilt ao centro da imagem, assim o centro do poste sempre estará próximo ao centro da imagem. A combinação dos dois tipos de imagens permite um refinamento da técnica de reconhecimento, permitindo índices de acurácia maiores que 0,9.

1.4 Criação do relatório de inspeção

[0070] Com as etapas anteriores é possível saber se a região do elemento contido no poste apresenta sobreaquecimento ou não, sendo que cada elemento tem seu próprio limiar de sobreaquecimento. Assim se, por exemplo, for detectada uma região quente na região retangular da chave faca, é possível identificar se a irregularidade ocorre na parte superior ou inferior do elemento. Esse procedimento é especificado para cada elemento possível encontrado no poste .

[0071] Para o relatório de inspeção será escolhida uma imagem de boa qualidade e com menor efeito de vibração.

[0072] Embora a presente invenção tenha sido descrita em conexão com uma concretização preferencial, deve ser entendido que não se pretende limitar a invenção àquela concretização particular. Ao contrário, pretende-se cobrir todas as alternativas, modificações e equivalentes possíveis dentro do espírito e do escopo da invenção, conforme definido pelas reivindicações em anexo.

Claims

RE IVINDICAÇÕES

1. Método para inspeção termográfica móvel de redes de distribuição de energia caracterizado pelo fato de que compreende as etapas de:

ajustar, automaticamente e remotamente, a posição de pelo menos uma câmera óptica (CO) e pelo menos uma câmera térmica (CT) a partir de um meio para ajustar, automaticamente e remotamente, a posição das câmeras ópticas e térmicas nos sentidos vertical e rotacional (ou eixos) acionado a partir de uma largura (L) da via obtida através de uma câmera frontal (CF) ;

capturar, com o veiculo em movimento, uma pluralidade de imagens ópticas e uma pluralidade de imagens térmicas a partir de um par de câmera óptica (CO) e câmera térmica (CT) ; calcular, em tempo real, a compensação de temperatura a partir de uma base de dados com valores nominais de corrente dos elementos elétricos detectados em cada ponto em função de medições de velocidade do vento e temperatura ambiente ;

realizar o reconhecimento de padrões de postes utilizando uma rede neural Convolucional com adição de uma camada de imagem térmica e executar o seguimento KCF para o poste de maior área;

realizar o pré-processamento de imagens ópticas e térmicas ;

localizar pontos de interesse utilizando uma rede neural Convolucional com adição de uma camada de imagem térmica com sincronismo de tipos de imagens estabelecido por um algoritmo de diferenças de Gaussiano; relatar se determinada região ou elemento do poste apresenta sobreaquecimento de acordo com o seu respectivo limiar de sobreaquecimento.

2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a informação da câmera frontal é uma distância obtida a partir da transformada de Hough de dois pontos fixos na imagem da câmera frontal (CF) .

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de realizar o reconhecimento de padrões de postes consiste em aplicar um método de aprendizagem profunda.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a detecção de elementos da rede de distribuição de energia elétrica é realizada através do método de aprendizagem profunda.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de pré-processamento consiste em:

converter de um formato Bayer para RGB;

reescalonar a imagem mantendo o formato da imagem original; e

comprimir a imagem reescalonada em JPG.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de localizar pontos de interesse compreende identificar elementos tais como Chave Faca, Chave Fusível, Chave a Óleo, Conectores, Alimentadores , Transformadores, Postes, Para-raios.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de classificação compreende ainda o uso de classificadores não lineares.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o par de câmera óptica (CO) e câmera térmica (CT) é disposto em uma base de suporte fixada em um veiculo.

9. Método, de acordo com a reivindicação 8, caracterizado pelo fato de que a etapa de capturar imagens utiliza um veiculo tal como um automóvel, drone, robô, entre outros .

10. Sistema para inspeção termográfica móvel de redes de distribuição de energia caracterizado pelo fato de que compreende :

quatro pares de câmeras formados por câmeras ópticas (CO) e câmeras térmicas (CT) dispostos em uma base de suporte sobre um veículo;

uma unidade central de processamento capaz de realizar cálculos e comparações em tempo real de valores medidos pelas câmeras óptica (CO) e térmica (CT) ;

uma base de dados armazenando as definições paramétricas e dados coletados;

em que o sistema é adaptado para realizar as etapas do método como definido em qualquer uma das reivindicações 1 a 9.