Reconocimiento y clasificación continua de imágenes de la Lengua de Señas Peruana empleando Deep Learning

• Autores: Briones Cerquín, Angel Diego, Tumay Guevara, Johan Alonso
• Formato: tesis de grado
• Fecha de Publicación: 2025
• Institución: Universidad Tecnológica del Perú
• Repositorio: UTP-Institucional
• Lenguaje: español
• OAI Identifier: oai:repositorio.utp.edu.pe:20.500.12867/12362
• Enlace del recurso: https://hdl.handle.net/20.500.12867/12362
• Nivel de acceso: acceso abierto
• Materia: Lengua de Señas Peruana; LSTM; Deep learning; Redes neuronales; https://purl.org/pe-repo/ocde/ford#2.02.01

En todo el mundo, las lenguas de señas (SLs) presentan desafíos para lograr una comunicación efectiva. En el campo del reconocimiento de SL mediante inteligencia artificial (Al), se han desarrollado dos enfoques: reconocimiento de SL aisladas (ISLR) y reconocimiento de SL continuas (CSLR). Para abordar las limitaciones en el CSLR de la SL peruana (PSL), se creó un algoritmo en Python basado en Al que utiliza la cámara web. Esto permitió construir una base de datos continua de 14 señas dinámicas que representan expresiones básicas de la PSL, la cual consta de 240 videos almacenados como secuencia de imágenes para cada expresión básica, con un total de 3360 videos y 50400 fotogramas. Se desarrolló un modelo de red neuronal basado en la arquitectura de memoria a largo plazo y corto plazo (LSTM) para mejorar la interacción persona-computadora y facilitar la comunicación inclusiva en el entorno digital. El modelo logró una precisión del 99.80% durante el entrenamiento y del 99.40% durante las pruebas, con métricas generales que alcanzaron el 99% en precisión, recall y F1-score. Estos resultados demuestran la capacidad del modelo LSTM para reconocer, clasificar y traducir expresiones básicas de la PSL con alta precisión en tiempo real, evitando el sobreajuste y generalizando de manera efectiva.