Resultados científicos y tecnológicos

4. Detección y localización automática de defectos visuales en los paneles solares

El Objetivo 4 propone obtener información visual, en el espectro visible e infrarrojo, que caractericen las zonas defectuosas de los paneles solares, así como su localización en el plano de la planta foltovoltaica. Tras los 18 meses iniciales del proyecto, se presenta una solución de software para la inspección de paneles fotovoltaicos mediante drones equipados con cámaras que consiste en la creación de un mapa visual de la planta fotovoltaica (PT4.1). La solución está diseñada de manera modular, compuesta por diferentes módulos que realizan tareas específicas en el proceso de inspección, incluyendo calibración de cámaras, preprocesamiento, detección de paneles individuales, estimación de pose en 3D, coincidencia de características y reconstrucción de la estructura de la planta. El software está diseñado para trabajar con cámaras de alta resolución y térmicas típicas en inspecciones con drones, como la DJI H20T.
	Detección de paneles La detección de paneles solares individuales en imágenes es crucial para un correcto mapeo e inspección de cada panel (Tarea 4.1.3). Para lograr esto, se emplea un modelo de aprendizaje profundo llamado Mask R-CNN, que es un modelo de segmentación de instancias que proporciona una máscara a nivel de píxel para cada panel en la imagen.
Mapa de la planta Una vez detectados los paneles individuales, se requiere generar un mapa completo de la planta (Tarea 4.1.1). Esto es necesario debido a la magnitud del error de posicionamiento GPS, que es mayor que el tamaño de un panel individual, lo que dificulta la identificación del mismo panel en imágenes consecutivas. Para corregir el posicionamiento GPS, se utiliza la información visual presente en las imágenes para calcular puntos salientes (SIFT) y las correspondencias entre pares consecutivos de imágenes. Con esta información, se puede calcular la transformación de la cámara y corregir el posicionamiento GPS, permitiendo realizar un seguimiento de cada panel individual durante toda la inspección.
Topología de la planta La determinación de la posición y orientación tridimensional de cada panel individual es necesaria para un correcto reporte de la defectología presente. Uno de los métodos utilizados para lograr esto es el PnP (Perspective-n-Point), que utiliza correspondencias entre puntos de imagen y puntos tridimensionales conocidos para resolver la pose de un objeto en una imagen. En nuestro caso, las correspondencias son las esquinas detectadas de cada panel solar y sus posiciones tridimensionales. Esta información sobre la pose tridimensional puede utilizarse para generar un informe de inspección completo, que se utilizará para priorizar tareas de mantenimiento y reparación. Además, utilizaremos esta información para reconstruir la estructura global de la planta solar, generando un mapa que muestre la posición de todos los paneles en el espacio. Para ello, utilizaremos los resultados obtenidos en la estimación de pose y en la correspondencia, construyendo un modelo topológico que conecte los paneles individuales en función de sus posiciones relativas. Este modelo proporcionará una visión completa de la planta, útil para diversas aplicaciones, como la supervisión de su rendimiento, la identificación de problemas de mantenimiento y la evaluación de su eficiencia.
	Calibración de cámaras RGB y térmica El módulo de calibración de cámaras del sistema de drones se enfoca en asegurar la precisión de las imágenes capturadas por el drone (Tarea 4.1.2). La calibración implica caracterizar las ópticas individuales de cada cámara y determinar la relación entre ellas. La caracterización incluye medir las propiedades ópticas de la cámara, como la longitud focal y la distorsión radial. La relación entre cámaras implica determinar la posición y orientación relativa de cada cámara, lo que es crucial para sincronizar las imágenes y construir un modelo 3D del entorno. El uso de patrones Charuco de calibración es una innovación que mejora la detección y caracterización de las cámaras. Los patrones Charuco son más precisos y robustos que los patrones tradicionales de tablero de ajedrez, lo que los hace una opción ideal para la calibración de cámaras.