La detección de fallos físicos en paneles que forman parte de plantas fotovoltaicas (PV) implica típicamente el análisis de imágenes térmicas y electroluminiscentes, lo que hace que sea imposible identificar el origen del fallo en la planta. Este trabajo se propone generar un método de clasificación automática de fallas físicas para plantas fotovoltaicas utilizando redes neuronales convolucionales para la segmentación semántica y la clasificación partir de imágenes RGB. Este estudio muestra resultados experimentales para 2 clases de salida que se identifica como una falla y ninguna falla, este estudio será de mucha ayuda para la detección de fallas en las centrales de generación de energía eléctrica mediante el uso de paneles solares en la región sur de Perú.