Prototipo de traductor de lenguaje de señas peruanas básicas usando machine learning

• Autores: Jimenez Moreano, Anaid, Qquecho Ccachainca, Brenda Alexandra
• Formato: tesis de grado
• Fecha de Publicación: 2021
• Institución: Universidad Andina del Cusco
• Repositorio: UAC-Institucional
• Lenguaje: español
• OAI Identifier: oai:repositorio.uandina.edu.pe:20.500.12557/4177
• Enlace del recurso: https://hdl.handle.net/20.500.12557/4177
• Nivel de acceso: acceso abierto
• Materia: Lenguaje de señas; Lenguaje de máquina; Discapacidad auditiva; https://purl.org/pe-repo/ocde/ford#2.02.04

La investigación se enfoca en el desarrollo de un prototipo que permita reconocer una señal básica (cualquier letra estática del abecedario de lenguaje de señas peruano) capturada por webcam basándose en la lengua de señas del Perú dentro de un tiempo corto estimado. El prototipo utiliza la tecnología de Machine Learning usando una Convolutional Neural Network (CNN), en español llamada red neuronal convolucional de tres capas y Support Vector Machine (SVM) para la segunda fase; La primera capa de la CNN definida como “HandSegNet” ubica y aísla a la mano a detectar, la segunda capa definida como “PoseNet” que usa algoritmos de detección de puntos clave obtenidos de una imagen 2D RGB y la tercera capa deriva estos puntos base más el punto de vista de la cámara, considerando iluminación, perspectiva y giro a un plano 3D obtenidos a partir del paper “Learning to Estimate 3D Hand Pose from Single RGB Images” de Christian Zimmermann & Thomas Brox investigadores de la universidad de Freiburg en Alemania. La limitante de la red de Zimmermann se reduce a entregar coordenadas de los dedos de la mano 3D, para lo cual se desarrolló una etapa que pueda definir las poses del abecedario peruano usando umbrales de confianza, por ángulos y rizo, a la salida de estas coordenadas relativas usa la máquina de vectores de soporte (SVM), también la compara con una red neuronal estándar usando como función de activación la regresión lineal, finalmente escribe la letra sobre la seña correspondiente definida en el algoritmo. ACAT es un sistema desarrollado por S. Hawking, que tras su muerte se volvió de código abierto, este sistema fue nuestra inspiración, buscamos desarrollar un prototipo para ayudar de la misma forma a las personas con discapacidad auditiva del CEBE Don José de San Martin, así los niños con discapacidad auditiva (D.A) sean capaces de transmitir algunos pensamientos clave mediante las letras del abecedario estáticas, usando solo una webcam común y corriente a comparativa de sistemas ya hechos que usan cámaras complejas y de alto costo como la Kinect. A un trabajo futuro se espera una mejora considerable del prototipo y que los niños puedan comunicarse con sus amigos o familiares de manera libre y feliz como funciona un traductor actual de idiomas.